Gleiches Modell, vier verschiedene Werkzeuge, dreimal so viel: Ein Test, was Sie der Wickler kostet
Composio führte DeepSeek V4 Flash über Claude Code, Codex, OpenCode und Oh My Pi bei 30 echten Aufgaben aus. Die Erfolgsquoten waren ähnlich. Die Kosten variierten um fast das Dreifache und die Geschwindigkeit um das 2,2-fache, abhängig davon, mit welchem Tool das Modell ausgeführt wurde.
Hier ist ein Ergebnis, das Sie kennen sollten, bevor Sie sich für ein KI-Codierungstool entscheiden. Das KI-Tooling-Unternehmen Composio nahm ein einziges Modell, DeepSeek V4 Flash, und ließ es durch vier verschiedene Agenten-Frameworks für dieselben 30 Aufgaben laufen und nutzte dabei echte Dienste wie Gmail, GitHub, Slack und Notion. Immer das gleiche Modell. Lediglich die Software drumherum hat sich geändert.
Die Erfolgsquoten lagen nahe beieinander. Oh My Pi beendete mit 17 von 30 die meisten Aufgaben, Claude Code und Codex lagen knapp dahinter und OpenCode lag mit 14 von 30 leicht zurück. Sieben der 30 Aufgaben wurden erfolgreich bestanden oder schlugen fehl, allein aufgrund des Frameworks, mit dem sie ausgeführt wurden, was an sich schon eine kleine Warnung darüber ist, wie wiederholbar dies alles ist.
Die Lücken, die tatsächlich zählten, waren Kosten und Zeit. OpenCode war mit 0,073 Dollar pro erfolgreicher Aufgabe am günstigsten. Claude Code war mit 0,195 Dollar am teuersten, fast dreimal so viel, und dennoch war es mit 122 Sekunden pro Aufgabe auch das Schnellste, gegenüber 272 Sekunden beim langsamsten, Oh My Pi. Claude Code hat es geschafft, indem er die wenigsten Tool-Aufrufe verwendete und den wenigsten Ausgabetext generierte, was ein schönes Beispiel dafür ist, dass „effizient“ und „billig“ nicht dasselbe Wort sind.
Was ist hier eigentlich los?
Ein Agenten-Framework, manchmal auch Harness genannt, ist die Schicht zwischen Ihnen und dem Modell. Es entscheidet darüber, wie Ihre Anfrage formuliert wird, wie viel vom Konversationsverlauf bei jedem Schritt erneut gesendet wird, wann ein externes Tool aufgerufen wird, wie oft es erneut versucht wird und wann angehalten wird. Das Modell übernimmt das Denken, aber das Framework entscheidet, wie oft das Modell nachdenken darf und wie viel es jedes Mal lesen muss. Da Sie pro verarbeiteter Texteinheit bezahlen, macht die Buchhaltung den größten Teil Ihrer Rechnung aus.
Aus diesem Grund verrät Ihnen der Vergleich von Modellen auf einer Bestenliste nur einen Teil der Geschichte. Ein Benchmark-Score beschreibt ein Modell unter einem bestimmten Setup. Ihre tatsächlichen Kosten und Geschwindigkeit hängen ebenso stark von dem Tool ab, mit dem Sie es ausführen, und diese Zahlen bewegen sich um ein Vielfaches, nicht um Prozentsätze.
Einige berechtigte Vorbehalte. Dreißig Aufgaben sind eine kleine Stichprobe, der Test verwendete ein Modell und Erfolgsquoten im Bereich von 14 bis 17 bedeuten, dass etwa die Hälfte aller Aufgaben unabhängig vom Tool fehlschlug. Composio verkauft Werkzeuge in diesem Bereich, also betrachten Sie es als nützlichen Datenpunkt und nicht als neutrales Urteil. Und alle vier Rahmenwerke sind bewegliche Ziele, die sich bis zum nächsten Monat ändern werden.
Was das für dich bedeutet: Wenn Sie einen KI-Agenten für sich wiederholende Dinge verwenden, ist das Tool eine echte Variable und kein Detail. Führen Sie eine Handvoll Ihrer typischen Aufgaben durch zwei Optionen durch und vergleichen Sie die Rechnung und die Wanduhr, denn der Unterschied ist groß genug, um es zu bemerken. Wenn Sie gerade erst anfangen, quälen Sie sich nicht mit der Auswahl, sondern nutzen Sie die Kostenanzeige, die Ihr Tool bietet. Die nützlichste Angewohnheit besteht hier darin, zu wissen, was eine Aufgabe kostet, bevor Sie sie hundertmal ausführen.
Quellen
Anthropic lockert den Biologiefilter von Claude Fable 5 und reduziert blockierte Fragen um 85 Prozent
Fable 5 wurde gestartet, wobei fast alle Biologiefragen blockiert waren. Ein umgeschulter Sicherheitsklassifikator lässt jetzt alltägliche Gesundheits- und Lernfragen durch und reduziert so die Rückfälle im Zusammenhang mit der Biologie um etwa 85 Prozent. Professionelle Virologie und Arzneimittelentwicklung bleiben blockiert.
