METR fragt neu, ob ein KI-Agent tatsächlich günstiger ist als ein Mensch
Das Evaluierungslabor schlägt den Ausgabenhorizont vor: das Budget, ab dem ein Mensch dieselbe Optimierungsaufgabe kosteneffizienter erledigt als ein KI-Agent. Im ersten Test lag der Schnittpunkt irgendwo zwischen null und 3.000 US-Dollar.
Die meisten KI-Benchmarks beantworten eine Ja-oder-nein-Frage: Hat das Modell die Aufgabe gelöst? METR, das gemeinnützige Labor, das Spitzenmodelle für die großen Labore bewertet, schlägt eine Kennzahl für eine nützlichere Frage vor: Ab welchem Budget ist ein Mensch der bessere Kauf? Sie heißt Ausgabenhorizont und ist als jener Dollarbetrag definiert, bei dem die Verbesserung durch einen Agenten genauso groß ist wie die Verbesserung, die ein Mensch für dasselbe Geld erzielt.
Der Testfall ist der NanoGPT-Speedrun, ein langjähriger Community-Wettbewerb darum, ein kleines Sprachmodell möglichst schnell zu trainieren. Er eignet sich, weil Menschen ihn bereits stark optimiert haben und wenig einfacher Spielraum bleibt. METR maß zunächst, was menschlicher Fortschritt kostet: Für jeden zusätzlichen Prozentpunkt Verbesserung fallen am Rand rund 2.500 US-Dollar menschlicher Arbeit an. Dann ließen die Forscher Agenten dasselbe Problem bearbeiten und trugen Punktzahl gegen Ausgaben auf. Nach mehr als 10.000 US-Dollar Agentenkosten schätzen sie den Ausgabenhorizont auf irgendwo zwischen null und 3.000 US-Dollar. Klar gesagt: Bei diesem Problem sind Agenten für kleine Budgets konkurrenzfähig; sobald ernsthaft Geld ausgegeben wird, ziehen Menschen vorbei.
Aufmerksamkeit verdient weniger das Ergebnis als die Form der Messung. Bestehende Forschungsbenchmarks melden meist bestanden oder nicht bestanden im Vergleich zu einem Menschen, der acht oder vierzig Stunden arbeitete. Das wirft Informationen weg und braucht viele Läufe, um Unterschiede zwischen Modellen zu erkennen. Eine kontinuierliche Kurve aus Punktzahl und Dollar ist statistisch schärfer, schließt die Rechenkosten des experimentierenden Agenten ein und kann auf bereits von Menschen ausoptimierte Probleme statt Lehrbuchübungen zielen. METR sagt klar, was sie nicht zeigt: Es ist ein einzelnes Problem, die Agentenläufe sind vorläufig und die menschliche Kostenschätzung grob. Niemand sollte einen einzelnen Ausgabenhorizont als Urteil über KI-Forschungsfähigkeiten lesen.
Was das für dich bedeutet: Wenn du dich für KI interessierst, aber Benchmarks leid bist, die dir nichts sagen, kannst du über diese Kennzahl tatsächlich nachdenken, weil sie in Geld statt Prozentpunkten ausgedrückt wird. Nutzt du Agenten bereits für echte Arbeit, folgt aus METRs Kurve eine praktische Lehre: Agenten bieten am Anfang einer Aufgabe oft hervorragenden Gegenwert und werden schlechter, je tiefer und teurer das Problem wird. Dafür zu budgetieren ist sinnvoller als anzunehmen, ein Agent sei durchgehend günstiger. Erwarte, dass Labore zunehmend Skalierungskurven statt einzelner Werte veröffentlichen; sobald Kosten so sauber gemessen werden, fällt die Rückkehr schwer.
Quellen
Quellen: https://metr.org/blog/2026-07-21-expenditure-horizon/
Nvidia könnte 250 Milliarden US-Dollar garantieren, damit OpenAI ein Rechenzentrum mieten kann
Laut Wall Street Journal verhandelt Nvidia über eine Absicherung von rund 250 Milliarden US-Dollar für einen 10-Gigawatt-Campus in Ohio, den OpenAI mieten würde. Dass ein Chiphersteller die Miete seines Kunden absichert, ist ungewöhnlich und zeigt, wer das Risiko dieses Booms trägt.
