Metas Antwort auf verschwendete GPU-Zeit: Fragen Sie ein Modell, welches Experiment ausgeführt werden soll

Ein Artikel aus Metas FAIR-Labor mit der University of Oxford und dem University College London befasst sich mit einem Problem, das banal klingt und ein Vermögen kostet: KI-Forscher können weit mehr Experimente vorschlagen, als sich irgendjemand leisten kann. Es dauert Sekunden, sich einen Kandidaten auszudenken. Das eigentliche Trainieren des Modells, um herauszufinden, ob es funktioniert, kann Stunden oder Tage GPU-Zeit in Anspruch nehmen. Der Flaschenhals sind also nicht die Ideen, sondern die Auswahl.

Ihr Vorschlag heißt AI Research Preference Model oder RPM, und das Schlaue daran ist, was er nicht tut. Es lässt sich nicht vorhersagen, wie gut ein Experiment abschneiden wird, da das Team feststellte, dass Sprachmodelle bei der Vorhersage absoluter Zahlen oder Ausführungsergebnisse unzuverlässig sind. Stattdessen wird das Problem als Ranking behandelt: Ordnen Sie eine Reihe von Kandidatenexperimenten, die noch nicht durchgeführt wurden, in die richtige Reihenfolge und wählen Sie das beste aus. Der Vergleich zweier Optionen ist eine viel einfachere Frage, als den Wert einer der beiden abzuschätzen, und es handelt sich um einen Trick, der überall beim maschinellen Lernen auftaucht. Das Team erstellte zwei Versionen aus eingefrorenen, vorab trainierten Sprachmodellen, d. h. Modellen, die so wie sie sind, ohne weiteres Training verwendet wurden. Ein Grund hierfür sind lediglich die Kandidatenpläne, der Code und die Ergebnisse bereits durchgeführter Experimente. Der andere führt vor dem Ranking zusätzlich kleine Pilotexperimente durch und investiert dabei ein wenig Rechenleistung, um viel zu sparen.

Warum das wichtiger ist, als es klingt. In fast jeder Geschichte über die Automatisierung der KI-Forschung geht es um Agenten, die generieren und ausführen. Es geht sehr wenig um Agenten, die ablehnen. Da Labore immer mehr autonome Systeme auf ihre eigene Forschung ausrichten, besteht die Einschränkung nicht mehr darin, wie viele Ideen das System haben kann, sondern darin, wie gut sein Geschmack ist, und Geschmack ist genau das, was niemand zu messen wusste. Wenn Sie es als Präferenzranking definieren, können Sie es trainieren und bewerten. Es steht auch in direktem Zusammenhang mit den Zahlen, die OpenAI diese Woche über die Agentenlaufzeit veröffentlicht hat, die die menschliche Arbeit um drei zu eins übersteigt: Die Laufzeit ist nur dann etwas wert, wenn sich die Durchführung der Experimente lohnte, und ein Labor, das drei Agententage pro Menschentag verbraucht, hat ein offensichtliches Interesse daran, diese nicht zu verschwenden.

Was das für Sie bedeutet. Für die meisten Leser handelt es sich hierbei eher um Hintergrundinformationen als um etwas, worauf man reagieren kann, und es ist in Ordnung, es so zu archivieren. Die zugrunde liegende Idee geht jedoch weit über GPU-Cluster hinaus. Wenn Sie jemals ein Modell gebeten haben, Ihre Optionen von zehn zu bewerten und eine verdächtig flache Auswahl von Achtern zurückbekommen haben, sind Sie auf den gleichen Fehler gestoßen, den die Forscher gemacht haben. Wenn Sie stattdessen nach einer Rangfolge fragen oder zwei Dinge gleichzeitig vergleichen, erhalten Sie in der Regel Antworten, die Sie tatsächlich verwenden können. Das ist eine kostenlose Verbesserung Ihrer Eingabeaufforderung und beruht auf derselben Beobachtung wie die Arbeit.

Quellen

• KI-Forschungspräferenzmodelle (arXiv)
• Meta FAIR stellt Präferenzmodelle für die KI-Forschung vor (MarkTechPost)