Eine strengere KI-Rangliste vergrößert den Abstand zwischen offenen und geschlossenen Modellen
Artificial Analysis baute seinen Intelligence Index mit größtenteils privaten Tests um, und der Abstand zwischen den besten offenen Modellen und den Spitzenreitern wuchs von 3 auf 12 Punkte.
Artificial Analysis, ein Unternehmen, das KI-Modelle bewertet, veröffentlichte Version 5 seines Intelligence Index, und das Bild änderte sich. Bei der neuen Wertung beträgt der Abstand zwischen den besten offenen Modellen und der Spitze der Bestenliste 12 Punkte, gegenüber 3 beim alten Index. Kimi K3.1 Pro, das Open-Weight-Modell von Moonshot AI, das letzte Woche auf den Markt kam, fiel vom vierten auf den neunten Platz zurück, hinter acht geschlossenen Modellen. The Decoder berichtet außerdem, dass Grok 4.7 12 Punkte verloren hat, obwohl sein neuer Rang nicht bekannt gegeben wurde.
Die wichtigste Änderung besteht darin, wie die Tests aufgebaut sind. Zum ersten Mal basieren 60 Prozent des Index auf privaten Testsätzen, Fragen, die Labore nicht im Voraus sehen können. Das Ziel besteht darin, das zu stoppen, was die Community als „Benchmaxxing“ bezeichnet: ein Modell anhand der genauen Fragen zu trainieren, anhand derer es benotet wird, wie ein Student, der sich die Prüfung des letzten Jahres eingeprägt hat. Artificial Analysis hat auch mehrdeutige oder fehlerhafte Fragen in AA-Omniscience, seinem Faktenwissenstest, behoben. Das Stück von The Decoder listet nicht die vollständigen Partituren auf, daher ist die Hauptquelle der darin zitierte Aufsatz von Artificial Analysis.
Was dahinter steckt: Ein Benchmark ist eine standardisierte Prüfung für KI-Modelle, und jede Prüfung wird irgendwann gefälscht, sobald die Antworten bekannt werden. Der Übergang zu privaten Fragen ist die übliche Lösung. Es ist auch nicht die ganze Geschichte. Der KI-Forscher Nathan Lambert argumentiert, dass viele Vorteile durch Reinforcement Learning (Training eines Modells durch Belohnung guter Antworten) in Übungsumgebungen entstehen, die den Tests ähneln, und dass der Aufbau dieser Umgebungen in großem Maßstab eine Infrastruktur erfordert, über die nicht jedes Labor verfügt. Mit anderen Worten: Die geschlossenen Labore sind möglicherweise einfach besser ausgestattet und nicht nur besser darin, zu schummeln oder ehrlich zu sein.
Es gibt auch einen Kompromiss. Bei privaten Fragen können Außenstehende die Eingabeaufforderungen nicht auf Fehler überprüfen, und die Korrekturen für AA-Omniscience zeigen, dass solche Fehler tatsächlich auftreten. Transparent, aber spielbar, oder verborgen, aber nicht überprüfbar: Beides ist nicht perfekt.
Was das für Sie bedeutet: Wenn Sie neu in diesem Bereich sind, ist die Erkenntnis ganz einfach. Eine einzelne Punktzahl auf einer Bestenliste ist ein grober Anhaltspunkt, kein Urteil, und sie kann sich stark verändern, wenn sich der Test ändert. Wenn Sie aus Datenschutz- oder Kostengründen offene Modelle nutzen, erinnern die neuen Zahlen daran, Kandidaten anhand Ihrer eigenen Aufgaben zu testen, anstatt sich auf ein Ranking zu verlassen. Eine Lücke von 12 Punkten in einem Index bedeutet nicht, dass Ihre E-Mails oder Tabellen um 12 Punkte schlechter sind. Und wenn in einer Markteinführungsankündigung ein Rang genannt wird, überprüfen Sie, welche Version des Index verwendet wurde.
Quellen
Quellen: https://the-decoder.com/new-artificial-analysis-index-widens-the-gap-between-open-and-closed-models/
Die KI-Agenten des Sicherheits-Startups gelangten in die Geschäftssysteme von Anthropic, und beide Seiten berichten unterschiedlich
Forscher von Cathedral nutzten KI-Agenten, um auf einige Unternehmenssoftware von Drittanbietern von Anthropic zuzugreifen. Anthropic bestätigt den eingeschränkten Zugriff und sagt, dass Chats, Code und Modellgewichte von Claude unberührt blieben.
