Große-Welt-Hypothese
Richard Suttons Argument, dass jedes Lernsystem immer viel kleiner ist als die Welt, in der es funktioniert, und entsprechend gestaltet werden sollte.
Die Idee ist einfach und ein wenig demütigend. Was auch immer Sie bauen, die Welt, mit der es zurechtkommen muss, ist weitaus größer und komplizierter als das System selbst. Ein Modell kann daher niemals ein vollständiges Bild seiner Umgebung enthalten, sondern nur ein komprimiertes und teilweises, und die ehrliche Entwurfsreaktion besteht darin, Systeme zu erstellen, die ständig von der Welt lernen, und nicht solche, die versuchen, das Lernen im Voraus abzuschließen.
Richard Sutton nutzt es als Grundlage für eine pointierte Kritik an synthetischen Daten, Trainingsmaterial, das ein Modell für sich selbst generiert. Wenn die Welt unendlich komplex ist und das Modell immer nur einen Bruchteil davon erfasst, dann stammen die vom Modell erzeugten Daten aus demselben Bruchteil. Sie erhalten mehr von dem, was es bereits weiß, als mehr von dem, was es nicht weiß. Andere argumentieren, dass synthetische Daten nachweislich dazu geeignet sind, bestimmte überprüfbare Fähigkeiten wie Code und Argumentationsschritte zu vermitteln, was eine andere Behauptung ist als die Frage, ob sie etwas wirklich Neues hervorbringen können.