Das KI-Werkzeug, das vor sechs Monaten „gescheitert“ ist? Vielleicht brauchte es einfach mehr Zeit
Das britische AI Security Institute hat festgestellt, dass die übliche Art, KI-Agenten zu testen, ihre Fähigkeiten unbemerkt unterschätzt, weil wir sie zu früh stoppen. Gibt man ihnen mehr Rechenzeit, lösen sie deutlich mehr Aufgaben. Eine verständliche Einordnung, warum das für alle wichtig ist, die KI-Werkzeuge beurteilen.
Hier ist eine Erkenntnis, die viele Schlagzeilen über KI still und leise in ein anderes Licht rückt. Das britische AI Security Institute, eine staatliche Einrichtung zur Erforschung der KI-Sicherheit, erklärt, dass unsere Messverfahren für KI-„Agenten“, also KI-Systeme, die mehrstufige Aufgaben selbstständig bearbeiten, diese systematisch benachteiligen. Nicht weil die Tests manipuliert wären, sondern weil wir die KI stoppen, bevor sie fertig gedacht hat.
Hat man das Prinzip einmal verstanden, leuchtet es ein. Ein Agent wird besser, je länger er arbeiten darf, mehr Versuche, mehr Kontrollen, mehr Schlussfolgerungen. Die meisten Tests setzen jedoch ein Budget fest: eine Obergrenze für die Rechenleistung, die der Agent verbrauchen darf, gemessen in Tokens, also den Textbausteinen, die eine KI verarbeitet. Stoppt man ihn, während er sich noch verbessert, bildet das Ergebnis die Untergrenze seiner Fähigkeiten ab, nicht die Obergrenze. Bei Aufgaben zur Fehlerbehebung in Software stieg die Erfolgsquote laut den Forschern um etwa 25 Prozent, als sie das Budget von einer Million auf zehn Millionen Tokens erhöhten. Manche Sicherheitsaufgaben wurden erst mit 50 Millionen gelöst. Gleiches Modell, gleiches Problem, nur mit dem nötigen Raum, um weiterzuarbeiten.
Ein zweiter Befund ist noch auffälliger. Weil die Token-Budgets immer weiter stiegen, erwies sich die Schätzung des Instituts dazu, wie schnell sich die Hacking-Fähigkeiten von KI verbessern, als zu langsam. Mit großzügigen Budgets gemessen verdoppelt sich die Leistungsfähigkeit ungefähr alle 40 bis 50 Tage statt nur alle paar Monate, ein bedeutend schnelleres Tempo. Das ist eine sicherheitsrelevante Erkenntnis und eine Erinnerung daran, dass die Messmethode das Ergebnis prägt. Fairerweise ist mehr Rechenzeit kein Zauberstab: Bei Tests mit medizinischen Fragen stießen Modelle an eine Grenze, die sich durch kein Budget überwinden ließ, und bei manchen Aufgaben schnitten neuere Modelle sogar schlechter ab. Zusätzliche Zeit hilft vor allem dort, wo die KI ihre eigene Arbeit überprüfen kann, etwa indem sie Code ausführt und sieht, ob er die Tests besteht.
Was das für dich bedeutet: Wenn du vor einiger Zeit ein lokales KI-Modell oder ein Agentenwerkzeug ausprobiert hast und es versagte, solltest du es nicht allein aus der Erinnerung abschreiben, vielleicht war das Werkzeug in Ordnung und nur die Leine zu kurz. Weil die Kosten für KI-Rechenleistung weiter sinken, werden Fähigkeiten, die im vergangenen Jahr noch zu langsam oder teuer erschienen, in diesem Jahr unbemerkt alltagstauglich. Die konkrete Gewohnheit: Wenn du einer KI eine wirklich schwierige Aufgabe gibst, insbesondere eine mit eingebauter Kontrolle wie Tests oder einem Compiler, lass sie länger arbeiten, bevor du urteilst. Geduld gehört inzwischen dazu, wenn man diese Werkzeuge gut nutzen will.
Quellen
Eine kleinere, maßgeschneiderte KI schlug GPT und Claude bei einer echten Aufgabe, für einen Bruchteil der Kosten
Ein riesiger Hedgefonds und ein führendes KI-Start-up haben gezeigt, dass ein kostenloses, herunterladbares Modell, trainiert mit dem Urteilsvermögen der eigenen Fachleute, bei Finanzaufgaben jede bekannte KI übertraf und dabei nur etwa ein Vierzehntel kostete. Die Lektion reicht weit über die Wall Street hinaus.
