Rich Sutton, Pionier des Reinforcement Learning, bezeichnet synthetische Daten als großen Fehler
Sutton argumentiert, dass eine Welt endloser Komplexität nicht aus Daten gelernt werden kann, die ein Modell für sich selbst generiert. Es ist eine direkte Herausforderung für eine der beliebtesten Abkürzungen der Branche.
Rich Sutton, einer der Begründer des Reinforcement Learning und Mitautor des Standardlehrbuchs auf diesem Gebiet, hat synthetische Daten angesichts der Komplexität der realen Welt als „großen Fehler“ bezeichnet. Die am 20. August gemeldete Bemerkung trifft eindeutig auf eine Praxis, die in der gesamten Branche still und leise zum Standard geworden ist.
Synthetische Daten sind genau das, wonach sie klingen: Trainingsmaterial, das ein Modell selbst oder ein anderes Modell für es generiert, anstelle von Texten und Bildern, die aus der Welt gesammelt werden. Labore stützen sich stark darauf, weil reale Daten endlich, teuer, rechtlich belastend und immer sauberer gepflückt werden. Suttons Einwand knüpft an eine Idee an, die er seit Jahren vertritt, die Hypothese der großen Welt: Jedes lernende System ist immer viel kleiner als die Umgebung, in der es operiert, und kann daher niemals ein vollständiges Modell dieser Welt enthalten. Wenn das wahr ist, dann schöpft ein System, das sein eigenes Trainingsmaterial generiert, aus dem Teil der Welt, den es bereits erfasst hat, was per Definition der kleine Teil ist. Sie erhalten mehr von dem, was das Modell bereits weiß, nicht mehr von dem, was es nicht weiß.
Dies ist keine Randposition, aber sie ist umstritten und passt in eine umfassendere Argumentation, die in den letzten Wochen an Bedeutung gewonnen hat. Die Mathematiker Timothy Gowers und Peter Sarnak haben unabhängig voneinander gesagt, dass Sprachmodelle bekannte Methoden gut kombinieren, es ihnen aber schwerfällt, wirklich neue Grundlagen zu erfinden. In einem DeepMind-Artikel wurde derselbe Engpass aus einer anderen Richtung argumentiert. Der Gegenargument ist einfach und hat Beweise dafür: Synthetische Daten eignen sich nachweislich für die Vermittlung spezifischer Fähigkeiten, insbesondere für Argumentationsschritte und Code, bei denen eine korrekte Antwort automatisch überprüft werden kann. Was Sutton in Frage stellt, ist nicht, ob es bei Benchmarks hilft, sondern ob es jemals etwas wirklich Neues hervorbringen kann, und das sind unterschiedliche Behauptungen, die oft so argumentiert werden, als wären sie eins.
Was das für Sie bedeutet: nichts Praktisches und alles darüber, wie Sie die nächste Ankündigungsrunde lesen. Wenn ein Labor einen Sprung gegenüber einem Benchmark meldet, ist es wichtig zu wissen, ob der Gewinn auf neue Informationen über die Welt zurückzuführen ist oder auf ein Modell, das gegen sich selbst antritt. Beides sind echte Verbesserungen, aber nur eine davon sagt Ihnen, dass das System jetzt etwas weiß, was es vorher nicht wusste. Wenn Sie diese Tools täglich verwenden, erklärt Suttons Argument auch eine bekannte Frustration: Modelle sind hervorragend darin, Bestehendes neu zu kombinieren, und werden merklich schwächer, sobald Sie etwas ohne Präzedenzfall benötigen.
Quellen
KI könnte wie ein Mensch schreiben. Sicherheitstraining ist das, was es verrät
Der CTO von Pangram argumentiert, dass Sprachmodelle nicht deshalb erkennbar sind, weil es ihnen an Fähigkeiten mangelt, sondern weil die Art und Weise, wie sie sich ausdrücken, nach dem Training eingeschränkt wird. Der Effekt hat einen Namen: Mode Collapse.
