Ein Turing-Preisträger wettet mit seinem neuen Start-up Oak Lab gegen Deep Learning
Richard Sutton, Mitbegründer des modernen Reinforcement Learning, hat Oak Lab in Toronto gegründet. Sein Ziel sind KI-Agenten, die kontinuierlich aus Erfahrung lernen, weil er die heutigen Methoden für „schwach und ineffizient“ hält.
Richard Sutton, Gewinner des Turing Award 2024, dem Informatik-Gegenstück zum Nobelpreis, hat mit dem Forscher Khurram Javed in Toronto ein neues KI-Start-up namens Oak Lab gegründet. Beide arbeiteten zuvor bei Keen Technologies, dem KI-Unternehmen des legendären Programmierers John Carmack.
Sutton gehört zu den Gründungsfiguren des Reinforcement Learning, jenem KI-Zweig, in dem Systeme durch Versuch und Irrtum lernen und gute Schritte belohnt werden. Diese Technik steckt hinter AlphaGo und teilweise hinter der heutigen Feinabstimmung von Chatbots. Entsprechend wiegt es, wenn er sagt, aktuelle Deep-Learning-Methoden seien „schwach und ineffizient“ und bräuchten „nicht mehr Optimierungen, sondern grundlegend neue Ideen“. Seine wiederholte These: Heutige Sprachmodelle seien brillante Nachahmer menschlichen Texts, könnten aber ihre eigenen Ausgaben nicht wirklich bewerten oder neue Dinge entdecken. Oak Lab will einen Agenten bauen, der während des Betriebs kontinuierlich aus seiner Umgebung lernt, statt einmal mit einem riesigen statischen Datensatz trainiert und dann eingefroren zu werden. Die langfristige Ambition klingt fast wie Science-Fiction: ein Agent mit „einer Billion Parametern, der mit 20 Watt Energie in Echtzeit lernt und plant“. 20 Watt entsprechen ungefähr dem Energieverbrauch eines menschlichen Gehirns.
Was dahintersteckt: Unter der Start-up-Nachricht liegt eine echte wissenschaftliche Spaltung. Große Labore wie OpenAI, Anthropic und Google wetten darauf, dass weiteres Skalieren heutiger Modelle weiter funktioniert; die bisherigen Ergebnisse stützen sie. Eine kleine, aber angesehene Gruppe um Sutton und den früheren Meta-Chefwissenschaftler Yann LeCun, der für einen anderen Ansatz ein eigenes Start-up gründete, glaubt, dieser Weg flache irgendwann ab und Lernen aus Erfahrung sei das Fehlende. Sutton ist außerdem für „The Bitter Lesson“ bekannt, einen viel zitierten Aufsatz, nach dem allgemeine Methoden plus mehr Rechenleistung langfristig immer gewinnen. Er ist nicht gegen Skalierung, er glaubt, dass wir die falsche Art Lernender skalieren.
Was das für dich bedeutet: Für deine tägliche KI-Nutzung ändert sich nichts: Oak Lab hat kein Produkt und erste Ergebnisse liegen wahrscheinlich Jahre entfernt. Es ist aber ein nützlicher Realitätscheck gegen die Erzählung, KI-Fortschritt sei eine geklärte Einbahnstraße. Einige der am höchsten ausgezeichneten Forscher des Feldes glauben, das heutige Rezept habe eine Obergrenze. Ob sie recht haben, ist eine der interessantesten offenen Fragen der KI; davon könnte abhängen, woher der nächste Sprung kommt.
Quellen
Quellen: https://oaklab.ai/
Soofi S: Deutschland hat nun ein offenes KI-Modell, das die Open-Source-Charts anführt
Ein deutsches Forschungskonsortium hat Soofi S 30B veröffentlicht, ein vollständig in München auf der Cloud der Deutschen Telekom trainiertes offenes Modell. Es schlägt alle vollständig offenen Rivalen in deutschen und englischen Benchmarks und zeigt, wie „souveräne KI“ praktisch aussehen kann.
