Ein Roboter, der nur Objekte verfolgt, sagt die falsche Bewegung voraus. Jemand hat endlich daran gemessen, wie viel

Hier ist eine Szene. Jemand stellt seine Tasse in den Schrank, während Sie nicht im Zimmer sind. Du kommst zurück. Wo schaust du hin? Natürlich am Tisch, denn dort hast du es gelassen. Ein System, das nur Objekte verfolgt, macht das jedes Mal falsch, denn physisch befindet sich der Becher im Schrank und das ist alles, was er sieht.

Ein am 22. August veröffentlichter Artikel macht aus diesem Gedankenexperiment eine Messung. Die Autoren argumentieren, dass heutige Weltmodelle, also Systeme, die vorhersagen, wie sich eine Szene verändert, wenn jemand handelt, nur die physische Ebene modellieren: Objekte, Positionen, Bewegung, was sich hinter was verbirgt. Sora, Genie 3, JEPA und Marble werden alle in derselben Familie zusammengefasst und für das gleiche Versäumnis kritisiert. Was die Menschen in der Szene glauben, wollen oder für gesellschaftlich angemessen halten, gelangt überhaupt nicht in den Staat.

Ihr Rahmenwerk, Mental World Modeling, fügt diese Variablen hinzu: Überzeugungen, Aufmerksamkeit, Ziele, Absichten, Emotionen, Normen und Beziehungen. Jede Aktion wird in einen physischen Träger und eine mentale Nutzlast aufgeteilt. Eine Tasse über einen Tisch zu schieben ist die gleiche Geste, egal ob es sich um eine Entschuldigung, eine Täuschung oder einen Akt der Fürsorge handelt, und nur die mentale Ebene unterscheidet sie. Die Autoren weisen darauf hin, dass sie kein Bewusstsein simulieren. Mentale Zustände sind hier aus dem Verhalten abgeleitete Hypothesen, und Systeme sollten diese Unsicherheit sichtbar machen.

Die Zahlen

Um es zu testen, bauten sie MENTIS, eine Pipeline, die keiner zusätzlichen Schulung bedarf, und Menti-Bench, einen Satz von 448 Entscheidungsszenen bestehend aus 320 Textbeschreibungen, 100 Bildgeschichten und 28 Ton- und Videoclips. Jede Szene bietet sechs Antwortoptionen sowie eine menschliche Referenzantwort.

Bei acht Modellen erreichte die direkte Antwort 63,3 bei F1, einem Standard-Genauigkeitsmaß. Das sechsmalige Stellen der gleichen Frage und die Annahme der häufigsten Antwort ergaben 77,9. Die volle Pipeline erreichte 87,9. Menschen erreichten mit demselben Protokoll 98,5.

Das auffälligste Ergebnis ist, dass Sie dies nicht mit zusätzlicher Rechenleistung kaufen können. Das schwächste Modell, das das Framework ausführte, GPT-4.1 mit 84,9, schlug das stärkste Modell, das direkt mit wiederholter Stichprobe antwortet, GPT-5.6 Sol mit 83,6. Struktur übertrifft rohe Leistungsfähigkeit. Entfernen Sie den mentalen Kanal und Models verlieren im Durchschnitt 12,1 Punkte; Entfernen Sie den physischen Kanal und sie verlieren 16,5. Beide werden benötigt, und sie zusammen und nicht einzeln vorherzusagen, ist weitere 6,4 wert.

Die Zuwächse liegen dort, wo die Theorie es vorgibt: 26,4 Punkte bei Szenen zwischen Menschen, nur 14,0 bei objektfokussierten Szenen. Etwa 80 Prozent des verbleibenden Abstands zum Menschen stammen aus einem Schritt und simulieren, wie sich der gekoppelte körperliche und geistige Zustand als nächstes ändert.

Was das für Sie bedeutet: Nichts, was Sie heute verwenden können. Aber es erklärt eine Frustration, die Sie vielleicht bereits kennen, wenn ein Assistent genau das tut, was Sie buchstäblich gefragt haben, und völlig verfehlt, was Sie meinten. Diese Lücke ist kein Höflichkeitsproblem, sondern ein Modellierungsproblem, und dieser Artikel ist einer der ersten, der eine Zahl darauf setzt. Für jeden, der verfolgt, wohin sich KI nach Chatbots entwickelt, sind Weltmodelle die große Wahl, und die Branche hat sich noch nicht einmal auf eine Definition geeinigt.

Quellen

• MENTIS-Referenzimplementierung und Menti-Bench, Mental World Modeling-Projekt
• Weltmodelle, die menschliche Überzeugungen ignorieren, sagen falsche Handlungen voraus, The Decoder