Karpathy verwandelte einen Absatz von Tolkien für zehn Dollar in eine 3D-Szene und nannte es einen Vibe Check

Andrej Karpathy überreichte Claude Opus 5 einen einzelnen Absatz aus der Eröffnung von „Der Herr der Ringe“ und bat um eine 3D-Szene. Zwei Stunden und etwa eine Million Token später, etwa zehn Dollar wert, produzierte das Modell 5.500 Codezeilen, die die Szene in Three.js renderten, einer JavaScript-Bibliothek für 3D-Grafiken, die in einem normalen Browser läuft. Er hat die Quelle veröffentlicht, damit andere sie erneut ansehen und ändern können. Eleven Labs lieferte den Ton. Alles andere hat das Model selbstständig platziert und animiert.

Als Grund dafür gibt Karpathy an, dass die alten informellen Tests abgenutzt seien. Am bekanntesten ist der Pelikan-Test von Simon Willison, bei dem ein Modell aufgefordert wird, eine SVG-Datei eines Pelikans auf einem Fahrrad zu zeichnen. Das Thema wurde ausgewählt, weil es absurd genug ist, dass in den Trainingsdaten kein fertiges Bild davon vorhanden ist, sodass das Modell es zusammenstellen muss. Dieses Problem wurde mehr oder weniger gelöst. Zuvor hatte Microsoft GPT-4 in seinem Sparks of AGI-Artikel 2023 ein Einhorn in TikZ zeichnen lassen und verwies auf das Ergebnis als Beweis für räumliches Denken, zu einer Zeit, als GPT-4 bisher nur Text gesehen hatte.

Ein Fehler trat sofort zu Tage. Das Modell kann seine eigene Videoausgabe nicht ansehen. Es überprüfte seine Funktion anhand von Standbild-Screenshots, weshalb Teile der Animation falsch aussahen. Karpathy bezeichnet die ganze Sache als rau, aber lustig und stellt fest, dass niemand eine Welt auf diese Weise von Hand bauen würde, während es mit einem Modell fast nichts kostet. Er sieht einen Weg zu auf Abruf generierten Spielwelten, in denen man als Nebencharakter vorbeischaut.

Was steckt dahinter? Es gibt zwei Möglichkeiten, ein Modell zu messen, und sie beantworten unterschiedliche Fragen. Ein Benchmark ist ein fester Satz von Aufgaben mit bekanntermaßen richtigen Antworten, sodass die Ergebnisse modellübergreifend und im Zeitverlauf verglichen werden können. Seine Schwäche besteht darin, dass, sobald ein Benchmark öffentlich ist, er in die Trainingsdaten eindringt und die Labore ihn entsprechend optimieren, sodass ein hoher Score nicht mehr das bedeutet, was er früher hatte. Ein Vibe Check ist das Gegenteil: Eine Person gibt einem Model etwas Seltsames und schaut, was zurückkommt. Es kann nicht verglichen werden, es kann nicht bewertet werden und es ist trivialerweise eine Rosinenpickerei, da man die vier gescheiterten Versuche nie sieht. Was es erfasst, ist das, was Benchmarks übersehen, nämlich ob ein Modell eine lange, unterspezifizierte Aufgabe bewältigen kann, ohne auseinanderzufallen. Karpathy betont ausdrücklich, dass dies ein Stimmungscheck und kein Benchmark ist und dass Ehrlichkeit mehr wert ist als die Demo.

Was das für dich bedeutet: Betrachten Sie dies als eine Leselektion und nicht als ein Produkt. Wenn Sie eine beeindruckende KI-Demo sehen, sind die nützlichen Fragen, wie viele Versuche es gedauert hat, wer die Aufgabe ausgewählt hat und ob Sie sie selbst wiederholen könnten. Die Veröffentlichung des Codes durch Karpathy besteht diesen letzten Test, was mehr ist, als die meisten Demos schaffen. Die praktische Erkenntnis für jeden, der diese Tools täglich nutzt, ist der Fehlermodus: Das Modell hat Fehler gemacht, insbesondere dort, wo es das Ergebnis seiner eigenen Arbeit nicht sehen konnte. Das ist die allgemeine Regel. Wenn ein Modell seine Ausgabe nicht überprüfen kann, überprüfen Sie es selbst.

Quellen

• Karpathy: die LOTR-Szene
• Der Decoder: Einhorn, Pelikan, Mittelerde, Karpathy sucht nach dem nächsten KI-Vibe-Test
• GitHub: Simon Willisons Pelikan auf einem Fahrrad-Benchmark