Ein Training für 500 Dollar: So schlägt ein 9B-Modell die Spitzenmodelle bei einer eintönigen Aufgabe
Die Beratung Fermisense hat ein kleines offenes Modell per Reinforcement Learning auf die Prüfung von Onlinekatalogen spezialisiert. Es erreichte 87,3 Prozent, das beste Spitzenmodell-Setup 76,9 Prozent – bei etwa einem Achtundsechzigstel der Kosten pro Eintrag.
Ein am Montag veröffentlichter Bericht der Beratung Fermisense, der auf Hacker News schnell viele Stimmen bekam, stellt eine Behauptung auf, die erst nach einem Blick auf den Versuchsaufbau glaubwürdig klingt. Bei einer einzigen, eng umrissenen Aufgabe schnitt ein offenes Modell mit 9 Milliarden Parametern besser ab als alle getesteten Spitzenmodelle, darunter GPT-5.6 Sol, Gemini 3.1 Pro und Claude Fable 5. Trainiert wurde es rund dreieinhalb Tage lang auf zwei gemieteten GPUs – für ungefähr 500 Dollar.
Die Aufgabe bestand darin, Katalogeinträge zu prüfen: Foto, Titel und Beschreibung eines E-Commerce-Angebots ansehen, es einer von etwa 13.000 Kategorien zuordnen, die für Suche und Filter nötigen Merkmale erfassen und mögliche Regelverstöße erkennen. Fermisense bildete diesen Ablauf als sogenannten digitalen Zwilling nach, also als Simulation der echten Arbeit mit denselben Werkzeugen und Konsequenzen. Grundlage waren 177.767 Prüfdurchläufe aus dem öffentlichen Datensatz Amazon Berkeley Objects, in die gezielt Regelverstöße eingebaut wurden. Da für jeden Durchlauf die richtige Antwort feststand, konnte ein Bewertungssystem jede Entscheidung benoten; übersehene Verstöße wogen dabei siebenmal schwerer als Fehlalarme. Genau dieses Feedback ermöglicht Reinforcement Learning: Das Modell probiert etwas aus, erhält eine Punktzahl und passt sich an.
Die Ergebnisse: Das beste Spitzenmodell-Setup erreichte selbst mit 2.800 Zeichen sorgfältig optimierter Prompt-Anweisungen 76,9 Prozent der möglichen Punktzahl. Das trainierte 9B-Modell kam auf 87,3 Prozent, nach 64,2 Prozent vor dem Training. Nach rund 250 Trainingsschritten, also etwa einem Tag, lag es bereits über der Gruppe der Spitzenmodelle. Die Kosten je 1.000 Einträge betrugen ungefähr 0,50 Dollar, gegenüber 19 Dollar für die günstigste und 172 Dollar für die teuerste Spitzenmodell-Variante. Ein Detail erklärt das Ergebnis besonders anschaulich: Die optimierten Prompt-Anweisungen erhöhten bei jedem einzelnen Aufruf dauerhaft die Kosten für Eingabetokens um 28 bis 55 Prozent. Wissen im Prompt wird bei jedem Aufruf gemietet. Antrainiertes Wissen wird einmal gekauft und steckt anschließend in den Modellgewichten.
Warum kann ein kleines Modell hier überhaupt gewinnen? Weil die Aufgabe nicht schwierig, sondern spezifisch ist. Ein Spitzenmodell beginnt bei jedem Eintrag wieder bei null: Es kennt weder die Taxonomie des Shops noch die zulässigen Merkmalswerte und muss all das jedes Mal aus dem Prompt rekonstruieren. Fermisense sagt offen, wann der Ansatz nicht funktioniert. Der Ablauf muss häufig genug stattfinden, damit die Kosten ins Gewicht fallen, und sein Ergebnis muss sich anhand einer Regel oder eines Schemas prüfen lassen. Wenn sich über eine Entscheidung nur streiten lässt, kann sie nicht bewertet werden – und ohne Bewertung fehlt dem Modell die Übungsgrundlage. Ebenfalls wichtig: Fermisense verkauft genau dafür Beratungsleistungen und hat den Benchmark selbst erstellt. Auch die acht weiteren genannten Einsätze, von Bridgewater bis Intercom und LinkedIn, beruhen jeweils auf Angaben der Unternehmen selbst.
Was das für dich bedeutet: Falls sich KI für dich wie eine Dienstleistung anfühlt, die du bei drei amerikanischen Konzernen mietest, ist dies ein bemerkenswertes Gegenbeispiel. Die Entwicklung könnte eher zu günstigen Spezialisten führen als zu einem einzigen riesigen Gehirn für alles. Ein Wochenendprojekt ist das allerdings nicht: Nötig waren eine simulierte Umgebung, ein Bewertungsschema und echte Entwicklungsarbeit. Wenn dein Unternehmen eine wiederkehrende Entscheidung tausendfach am Tag trifft und sich die richtige Antwort überprüfen lässt, lautet die ehrliche Frage nicht automatisch, ob du ein Modell feinabstimmen solltest. Sie lautet zunächst, ob du derzeit Spitzenmodell-Preise für Arbeit bezahlst, die keine Spitzenmodell-Intelligenz braucht.
Quellen
Quellen: https://fermisense.com/when-machines-take-the-wheel/
Ein indisches Gericht nennt KI-Training „private Nutzung“ – Verlage sollten das Kleingedruckte lesen
Der Delhi High Court verweigerte der Nachrichtenagentur ANI eine einstweilige Verfügung gegen OpenAI. Die Speicherung urheberrechtlich geschützter Artikel für das Training von ChatGPT falle wahrscheinlich unter eine Fair-Dealing-Ausnahme. Es ist eine vorläufige Entscheidung, kein Endurteil.
