Werden Modelle mit Absicht schlechter bei Fakten?
Ein viel geteilter Beitrag behauptet, Labore tauschten Faktenwissen gegen effizienteres Schlussfolgern. Die Benchmark-Zahlen dahinter sind echt, auch wenn sich die Absicht schwerer belegen lässt.
Ein Beitrag von Walter van der Giessen mit dem Titel „Models Are Getting Dumber on Purpose“ stand am Sonntag auf der Startseite von Hacker News. Das Argument lohnt sich auch dann, wenn man seiner Zuspitzung nicht zustimmt. Seine These: Führende Labore drücken absichtlich reines Faktenwissen aus ihren Modellen, um dafür Denkfähigkeit und Geschwindigkeit zu gewinnen.
Die Zahlen, auf die er verweist, sind auffällig. GLM-5.2 erreicht mit 40 Milliarden aktiven Parametern 99,2 Prozent beim AIME 2026, einem schwierigen Mathematikwettbewerb. Qwen 3.5 kommt mit 17 Milliarden aktiven Parametern auf 91,3 Prozent. Aktive Parameter sind der Teil des Modells, der bei einem bestimmten Wort wirklich eingeschaltet wird und bei einem Mixture-of-Experts-Modell viel kleiner als die Gesamtzahl ist. Gleichzeitig führt Gemini 2.5 Pro die Rangliste von SimpleQA, das nur kurze Faktenfragen mit eindeutigen Antworten stellt, mit etwa 53 Prozent an. Modelle, die Mathematik auf Olympiadeniveau beinahe fehlerfrei lösen, beantworten die Hälfte einfacher Sachfragen falsch.
Ob das beabsichtigt ist, bleibt umstritten. Es gibt eine weit langweiligere Erklärung: Auswendig gelernte Fakten beanspruchen Parameter, Parameter kosten bei jeder Anfrage Geld, und ein für Denk-Benchmarks optimiertes Modell wird von selbst weniger Trivia enthalten. Niemand muss in einem Meeting beschließen, das Modell Dinge vergessen zu lassen. Das praktische Ergebnis ist in beiden Fällen dasselbe, und van der Giessens Schlussfolgerung folgt daraus: Kann man dem Gedächtnis des Modells nicht trauen, ist die sinnvolle Architektur ein kleineres Modell mit Retrieval. Die Fakten liegen dann in einem Dokumentenspeicher, in dem das Modell nachschlägt, statt in seinen Gewichten.
Der größere Punkt wird immer wieder neu entdeckt. Ein Benchmark-Wert verrät, worauf ein Modell optimiert wurde, nicht, worin es insgesamt gut ist. Eine Zahl, die steigt, weil ein Labor sie gezielt bearbeitet hat, bedeutet keine allgemeine Verbesserung. Ungetestete Fähigkeiten können still schlechter werden. Faktenwissen gehört dazu, weil es unspektakulär ist und sich schwer in eine beeindruckende Grafik verwandeln lässt.
Was das für dich bedeutet: Behandle selbstsichere Sachauskünfte mit derselben Skepsis wie die Aussagen eines selbstsicheren Fremden in der Kneipe, egal wie klug das Modell beim Denken wirkt. Die praktische Lösung ist einfach und kostenlos: Gib ihm die Quelle. Füge das Dokument ein, aktiviere die Websuche oder lade die PDF hoch. Antworten, die sich auf deinen bereitgestellten Text stützen, sind deutlich verlässlicher als solche aus dem Gedächtnis. Diese einzelne Gewohnheit verbessert Alltagsergebnisse am stärksten. Für Entwickler ist es ein Hinweis zugunsten von Retrieval statt immer größerer Modelle: Ein kleines lokales Modell mit gutem Dokumentenindex schlägt häufig ein Spitzenmodell, das aus dem Gedächtnis rät, und kostet nur einen Bruchteil.
Quellen
Quellen: https://w4g1.dev/blog/models-are-getting-dumber-on-purpose
Stripe kauft OpenRouter für mehr als 7 Milliarden Dollar
Der Zahlungsdienstleister will die Schicht besitzen, die entscheidet, welches KI-Modell deine Anfrage beantwortet, und sie danach abrechnet. OpenRouters Bewertung hat sich in drei Monaten mehr als verfünffacht.
