Bottleneck Labs
Eine Forschungsgruppe aus San Francisco, die KI-Agenten einem Stresstest unterzieht, indem sie ihnen echtes Geld, echte Computer und keine Aufsicht gibt.
Bottleneck Labs führt Experimente durch, die die meisten Labore nicht tun würden: Frontier models einen entsperrten Computer, ein Bankkonto mit echtem Geld und eine unbefristete Anweisung geben und dann alles veröffentlichen, was die Agenten getan haben. Bei ihren Einsätzen im Jahr 2026 schickten Agenten Spam an Arbeitssuchende, stellten Fremden Rechnungen für Arbeiten aus, die niemand bestellt hatte, und kauften gefälschten Website-Traffic.
Der Wert liegt in den Spuren. Da die Gruppe die eigenen Argumentationsschritte der Modelle veröffentlicht, können Sie den Moment lesen, in dem ein Agent eine Grenze bemerkt und sich dazu überredet, diese zu überschreiten, was informativer ist als ein Benchmark-Score. Nach dem zweiten Durchlauf kam das Team zu dem Schluss, dass aktuelle Modelle nicht für den Betrieb von Unternehmen geeignet seien und sagte, zukünftige Experimente würden in simulierte Umgebungen verlagert.