Alibabas neuestes Modell schneidet besser ab und vermutet mehr: Halluzinationsrate steigt von 23 auf 40 Prozent
Qwen3.8 Max gewann 10 Punkte auf dem Artificial Analysis Intelligence Index und erreichte damit Claude Opus 4,8. Außerdem wurde es langsamer, teurer pro Aufgabe und weitaus eher bereit, eine Antwort zu erfinden, anstatt zuzugeben, dass es keine Ahnung hat.
Alibabas Qwen3.8 Max erreicht im Artificial Analysis Intelligence Index einen Wert von 56, ein 10-Punkte-Sprung gegenüber seinem Vorgänger Qwen3.7 Max und genug, um mit Claude Opus 4,8 gleichzuziehen. Beim GDPval-AA, einem Benchmark, der auf realistischen Arbeitsaufgaben basiert, stieg er um 468 Elo-Punkte auf 1.739, überholte Kimi K3 und ließ nur Claude Opus 5 vor sich. Das ist ein wirklich großer Schritt in einer Version.
Nun der Rest der Tabelle. Kimi K3 erzielt mit 57 immer noch einen Punkt mehr und das für etwa 25 Prozent weniger Geld. Und die Art und Weise, wie Qwen3.8 Max seine Punktzahl erhält, ist teuer: Es benötigt 64 Schritte pro Aufgabe, während die vorherige Version 14 benötigte, und der verarbeitete Eingabetext wuchs um das Fünfzehnfache, da jeder Schritt die gesamte bisherige Konversation erneut sendet. Alibaba senkte seine Preise, wobei der Input von 2,50 auf 2,00 Dollar pro Million Token und der Output von 7,50 auf 6,00 sanken, und die Kosten pro Aufgabe immer noch mehr als verdoppelt wurden, von 0,53 auf 1,14 Dollar. Kimi K3 kostet 0,86, GLM-5.2 kostet 0,57.
Zwei Punkte gingen ebenfalls zurück. AA-LCR, das testet, ob ein Modell über ein sehr langes Dokument verstreute Fakten zusammenführen kann, fiel um 2 Punkte. AA-Omniscience fiel um 10. Diese zweite Zahl ist aufgrund ihrer Messung die interessante Zahl.
Was ist hier eigentlich los?
AA-Omniscience fragt nicht nur, ob ein Modell richtig antwortet. Es lohnt sich auch, „Ich weiß nicht“ zu sagen. Qwen3.8 Max hat etwa 31 Prozent der Antworten richtig beantwortet, ungefähr genauso viel wie zuvor. Doch die Halluzinationsrate, also der Anteil der Antworten, die mit Sicherheit falsch waren statt abgelehnt zu werden, stieg von 23 auf 40 Prozent. Im Klartext: Es wurde nicht kenntnisreicher, es wurde mutiger. Es errät nun Situationen, in denen die vorherige Version eine Lücke zugelassen hätte.
Dieser Kompromiss lässt sich leicht aus Versehen herstellen. Wenn Sie ein Modell so trainieren, dass es bei langen, mehrstufigen Aufgaben hilfreicher, ausdauernder und besser ist, wird es dazu gebracht, immer etwas zu produzieren. Derselbe Instinkt, der es dazu bringt, 64 Schritte zu durchlaufen, um eine Aufgabe zu erledigen, bringt es auch dazu, eine Tatsache auszufüllen, die es nicht hat. Dies ist ein gutes Beispiel dafür, warum eine Überschrift niemals ein Modell beschreibt und warum die Metrik, die Sie berücksichtigen sollten, ganz davon abhängt, wofür Sie sie verwenden.
Was das für dich bedeutet: Wenn Sie ein Modell auswählen, achten Sie über den Top-Score hinaus auf zwei Dinge: Kosten pro abgeschlossener Aufgabe, nicht Preis pro Million Token und wie sich das Modell verhält, wenn es etwas nicht weiß. Für Recherchen, das Zusammenfassen von Dokumenten oder alles, worauf Sie reagieren werden, ist ein Modell, das Lücken zulässt, mehr wert als eines, das zwei Punkte besser abschneidet. Für lange, strukturierte Arbeiten, bei denen Sie die Ausgabe ohnehin überprüfen, eignet sich möglicherweise das ausführliche, aber teure Profil gut. Und was auch immer Sie verwenden, betrachten Sie einen selbstbewussten Ton als einen Schreibstil und nicht als Beweis.
Quellen
Wenn KI eine Kindergeschichte über Tiere schreibt, verschwinden die weiblichen Charaktere fast
In einer Studie der University of Washington wurden fast 24.000 Story-Vervollständigungen anhand von sechs führenden Modellen durchgeführt. Zwei Prozent der Tierfiguren waren weiblich, 41 Prozent männlich und 57 Prozent neutral oder ungeschlechtlich. Die Forscher argumentieren, dass die guardrails, die Voreingenommenheit verhindern sollen, die Ursache dafür waren.
