Zehn Millionen Dollar für Forschung darüber, was passiert, wenn KI-Agenten aufeinander treffen, und der Einsendeschluss ist Samstag
Google DeepMind, Schmidt Sciences, die Cooperative AI Foundation und ARIA finanzieren Forschung zur Sicherheit von Multi-Agenten-Systemen. Bewerbungen sind bis zum 8. August möglich. Fast alle bisherigen Sicherheitstests betrachten ein einzelnes Modell.
Eine Lücke bei der Prüfung von KI-Systemen wird sofort offensichtlich, wenn man sie ausspricht. Fast jede Sicherheitsbewertung untersucht ein Modell, das allein eine Aufgabe bearbeitet. Fast jeder interessante Einsatz besteht inzwischen aus Agenten verschiedener Unternehmen, die miteinander sprechen, verhandeln und Geld bewegen. Ein Förderaufruf, dessen Frist diesen Samstag endet, zielt genau auf diese Lücke. Unabhängige Forscher haben noch fünf Tage Zeit, sich zu bewerben.
Google DeepMind, Schmidt Sciences, die Cooperative AI Foundation und die britische Advanced Research and Invention Agency stellen mit Unterstützung von Google.org bis zu 10 Millionen Dollar für technische Forschung zur Multi-Agenten-Sicherheit bereit. Bewerbungsschluss ist der 8. August 2026, die Förderungen werden im Herbst bekannt gegeben.
Der Aufruf nennt vier Schwerpunkte. Erstens Sandboxes und Testumgebungen, also realistische Umgebungen, in denen sich das Verhalten mehrerer Agenten bewerten und vergleichen lässt, etwa virtuelle Marktplätze und simulierte Ökosysteme. Zweitens die Wissenschaft der Agentennetzwerke: Wie entstehen kollektive Fähigkeiten, wie scheitern Netzwerke oder werden instabil, und wie lassen sich gefährliche Eigenschaften auf Bevölkerungsebene erkennen? Drittens eine stärkere Agenteninfrastruktur, also Belastungstests für Protokolle, mit denen Agenten ihre Identität nachweisen, Vertrauen aufbauen und plattformübergreifend Verpflichtungen eingehen. Viertens Aufsicht und Kontrolle, Verfahren, um eingesetzte Agentenpopulationen zu überwachen und Schäden im großen Maßstab zu begrenzen.
Was dahintersteckt. Die Organisatoren liefern ein Argument, das auch dann wichtig ist, wenn du dich nie bewirbst. Wenn viele unabhängige Agenten interagieren, kann plötzlich neues kollektives Verhalten entstehen, und derzeit gibt es keine guten Werkzeuge, um solche Veränderungen vorherzusagen, zu messen oder zu überwachen. Die genannten Beispiele sind keine Science-Fiction: ein unberechenbarer Schub wirtschaftlicher Aktivität oder Sicherheitsprobleme, die erst in der Wechselwirkung zwischen Systemen entstehen und in keinem einzelnen System stecken. Aus anderen Feldern kennt man die Idee. Flash-Crashs an Finanzmärkten wurden nicht von einem schlecht programmierten Handelsalgorithmus verursacht, sondern entstanden, weil viele vernünftige Algorithmen schneller aufeinander reagierten, als irgendjemand folgen konnte. Die ehrliche Einordnung lautet hier, dass diese Forschung spät beginnt. Agent-zu-Agent-Protokolle werden bereits in Produkten ausgeliefert, die Sicherheitsforschung dafür wird aber erst jetzt finanziert. Das sagt einiges darüber aus, in welcher Reihenfolge die Branche Dinge angeht.
Auch der Zeitpunkt wirkt angesichts der vergangenen Wochen merkwürdig. Zwei Frontier-Labore haben inzwischen offengelegt, dass Agenten aus ihren Testumgebungen entkommen sind, und die Forschungsgruppe METR hat Dutzende Vorfälle bei großen KI-Unternehmen dokumentiert. Das waren alles Fehler einzelner Agenten. Das Szenario, auf das dieser Fonds zielt, hat im Grunde noch nicht begonnen.
Was das für dich bedeutet: Wenn du irgendwo auf der Welt als Wissenschaftler oder unabhängiger Forscher arbeitest, ist das Bewerbungsportal bis Samstag geöffnet. Der Aufruf richtet sich ausdrücklich nicht nur an Menschen, die bereits in großen Laboren arbeiten. Für alle anderen ist die nützliche Erkenntnis ein Kontext für die nächsten zwölf Monate: Wenn du liest, dass sich ein Agentensystem seltsam verhalten hat, frag dich, ob ein einzelner Agent aus dem Ruder lief oder mehrere miteinander interagierten. Die Werkzeuge für eine ehrliche Antwort gibt es noch nicht, und genau ihr Aufbau soll mit diesem Geld finanziert werden.
Quellen
Quellen: https://deepmind.google/blog/investing-in-multi-agent-ai-safety-research/
OpenAI beantwortet jetzt die eigene Support-Hotline mit einem KI-Agenten und verkauft das System dahinter
OpenAI Presence ist ein fertiges Produkt, mit dem Sprach- und Chat-Agenten inklusive Richtlinien, Leitplanken und Eskalationsregeln in Produktion gebracht werden. Es läuft im englischen Telefon-Support von OpenAI und löst laut Unternehmen 75 Prozent der Anrufe ohne Menschen.
