Forscher fragten, warum Chatbots bei Tabellenkalkulationen schlecht sind, und die Antwort ist seltsamer als erwartet
In einem neuen Artikel werden fünf Erklärungen dafür getestet, warum große Sprachmodelle gegenüber jahrzehntealten Methoden zur tabellarischen Vorhersage in den Hintergrund treten. In niedrigen Dimensionen verhält sich das Modell wie ein einfacher abstandsbasierter Klassifikator. In höheren Dimensionen gibt es keine klassische Erklärung dafür.
Sprachmodelle schreiben Code, fassen Verträge zusammen und bestehen Prüfungen. Bei einer der häufigsten Aufgaben beim maschinellen Lernen sind sie auffallend schlecht: das Betrachten einer Tabelle mit Zeilen und Spalten und das Vorhersagen des fehlenden Werts. Ein am 3. August von Marta Garnelo und Wojciech Czarnecki veröffentlichter Artikel versucht herauszufinden, warum das so ist, und das Interessante daran ist, wie viel von der offensichtlichen Erklärung dadurch ausgeschlossen wird.
Der Aufbau ist bewusst schlicht gehalten. Die Forscher übergeben einem frontier model eine einzige Eingabeaufforderung, die die gesamte Trainingstabelle und die Testzeilen enthält, und bitten in einem Generierungsdurchlauf um Vorhersagen. Keine Tools, keine Codeausführung, kein Fine-Tuning, keine Agentenschleife. Anschließend testen sie fünf mögliche Erklärungen: dass das Modell mit verrauschten oder nichtlinearen Daten nicht zurechtkommt; dass das Reduzieren einer Tabelle in durch Kommas getrennten Text die Spaltenstruktur zerstört; dass die Art und Weise, wie Zahlen in Token zerhackt werden, sie verstümmelt; dass die Anforderung zu vieler Vorhersagen pro Abfrage die Qualität beeinträchtigt; und dass die Anzahl der Spalten das Problem ist. Sie vergleichen auch das Verhalten des Modells mit 252 konfigurierten klassischen Modellen, den jahrzehntealten statistischen Methoden, die diese Aufgaben immer noch meistern.
Was dahinter steckt. Das auffälligste Ergebnis ist das Missverhältnis zwischen zwei Regimen. Mit nur zwei Spalten verhält sich das Modell bemerkenswert wie eine einfache abstandsbasierte Methode, die einen Punkt vorhersagt, indem sie sich das ansieht, was ihm am nächsten liegt, mit einer Übereinstimmung von bis zu 91,6 Prozent auf einem Vorhersageraster. Fügen Sie weitere Spalten hinzu, und die Ähnlichkeit bricht: Kein klassisches Modell reproduziert die Vorhersagen, selbst wenn die Forscher absichtlich abgestimmtes Rauschen hinzufügen, um sie zu imitieren. Mit anderen Worten: Das Modell erstellt keine schlechte Statistik. Es geht darum, etwas anderes zu tun, und dieses andere lässt sich nicht skalieren. Das ist über die Neugierde hinaus wichtig, denn es ist die Grundvoraussetzung von tabular foundation models, einem ganz jungen Forschungsgebiet, das Modelle speziell für Tabellen erstellt, und bisher wurde das „Warum“ meist angenommen.
Was das für dich bedeutet: Die praktische Regel ist einfach und es lohnt sich, sie einzuhalten. Wenn Ihre Frage lautet: „Prognostizieren Sie diese Zahl anhand dieser Tabelle“, ist ein Chatbot das falsche Werkzeug, und eine langweilige alte Methode wie Gradient Boosting oder sogar logistische Regression wird ihm oft um Längen überlegen sein. Wo ein Sprachmodell bei tabellarischen Daten hilft, ist an den Rändern: Erklären, was eine Spalte bedeutet, Schreiben des Codes, der das eigentliche Modell ausführt, Erkennen von Formatierungsproblemen, Beschreiben von Ergebnissen in einfacher Sprache. Dies ist ein gutes Beispiel für eine allgemeine Gewohnheit, die es wert ist, aufgebaut zu werden. Die beeindruckende Breite dieser Tools macht es einfach, überall Kompetenz zu übernehmen, und die ehrliche Antwort ist, dass die Fehler lückenhaft sind und sich selten bemerkbar machen.
Quellen
Quellen: https://arxiv.org/abs/2608.02412
Mistral hat einen kostenlosen Sicherheitsfilter herausgebracht, den Sie im Klartext beschreiben und der auf eine Grafikkarte passt
Shieldstral ist ein 3-Milliarden-Parameter-Open-Weights-Modell, das Text und Bilder anhand einer von Ihnen selbst verfassten Richtlinie in gewöhnlichen Sätzen ohne Umschulung vergleicht. Es läuft auf einer einzelnen 16-GB-GPU unter einer Apache 2.0-Lizenz.
