Flint: Ein 40B-Open-Coding-Modell, das mithilfe eines KI-Systems in vier Monaten aufgebaut wurde

Ein Startup namens Recursive hat Flint veröffentlicht, sein erstes Sprachmodell, das für Coding-Agenten entwickelt wurde und für die Ausführung auf Ihrer eigenen Hardware konzipiert ist. Das Unternehmen gibt an, dass es etwa vier Monate gedauert hat und dass ein hauseigenes KI-System, das „Eureka Machine“, fast jeden Entwicklungsschritt abgewickelt hat: Ideen vorschlagen, testen und die Ergebnisse verfeinern.

Flint ist ein „Mixture-of-experts“-Modell mit insgesamt 40 Milliarden Parametern, aber nur etwa 2,5 Milliarden sind für jedes erzeugte Wort aktiv. Stellen Sie sich ein großes Team von Spezialisten vor, bei dem für jede Frage nur wenige hinzugezogen werden, was eine schnelle Bearbeitung ermöglicht. Laut Recursive hat das System bei Trainingsdaten, Optimierern und der Architektur geholfen und Low-Level-Code für Apple Silicon geschrieben. Was die Geschwindigkeit betrifft, meldet das Unternehmen über 125 Tokens pro Sekunde (ungefähr Wörter pro Sekunde) auf einem M4 Pro MacBook und über 150 auf einem Nvidia RTX Spark mit 64 GB. Die Gewichtungen liegen auf Hugging Face unter der Lizenz Apache 2.0, die eine kommerzielle Nutzung ermöglicht, und es unterstützt Kontextfenster bis zu 512 KB Tokens (wie viel Text es gleichzeitig aufnehmen kann), wobei 256 KB empfohlen werden. Es funktioniert mit llama.cpp, Ollama, LM Studio, vLLM und SGLang.

Now the caveats. Der Benchmark behauptet, dass Flint andere Sparse-Modelle unter 50B-Parametern bei Coding-Tests wie SWE-Bench Pro v2 und Terminal-Bench 2.1 anführt, von Rekursiv stammt und nicht unabhängig überprüft wurde. Größere dichte Modelle wie der Qwen 3.8 schneiden bei einigen Tests immer noch besser ab. Recursive selbst sagt, dass Flint bei komplexen Aufgaben mehr Anleitung benötigt als große proprietäre Modelle und empfiehlt daher, große Aufgaben in kleinere Schritte aufzuteilen. Und in dem Artikel wird darauf hingewiesen, dass die Veröffentlichung noch keine „rekursive Selbstverbesserung“ beweist, was bedeuten würde, zu zeigen, dass ein vom Eureka Machine erstelltes Modell den Eureka Machine zu einem besseren Forscher macht.

Was dahinter steckt: Der Traum hinter dem Namen ist KI, die die KI in einer Schleife verbessert. Flint ist ein früher Datenpunkt: ein kleines Team nutzt automatisierte Forschung, um schnell ein wettbewerbsfähiges Modell zu liefern. Selbst ohne die Schleife werden dadurch die Kosten für die Erstellung anständiger Modelle gesenkt, was eine gute Nachricht für offene und lokale KI ist.

Was das für Sie bedeutet: Wenn Sie neu in der lokalen KI sind, ist dies kein Muss; Warten Sie auf unabhängige Bewertungen. Wenn Sie bereits Modelle auf einem Mac oder einem Gaming-PC betreiben, ist Flint ein günstiges Experiment als privater Coding-Helfer, solange Sie die Aufgaben klein halten.

Quellen

• The Decoder: Recursive zeigt erste Ergebnisse seines KI-gesteuerten Forschungsprozesses mit Flint