Warum Databricks ausgerechnet ein chinesisches Open-Source-Modell zu seiner täglichen Programmier-Engine macht
Databricks hat Programmieragenten an seiner eigenen Codebasis mit mehreren Millionen Zeilen getestet. Das quelloffene GLM 5.2 erreichte die Qualität von Anthropics Opus 4.8 bei zwei Dritteln der Kosten, und soll nun zum Standard werden.
Databricks, eines der größten Unternehmen für Datenplattformen, hat ein ungewöhnliches Experiment durchgeführt: Statt öffentlichen KI-Bestenlisten zu vertrauen, testete es Programmieragenten an seiner eigenen Codebasis, Millionen von Zeilen in mehr als zehn Programmiersprachen. Sieger beim Preis-Leistungs-Verhältnis war GLM 5.2, ein chinesisches Open-Source-Modell. Es erreichte bei der Qualität das Niveau von Anthropics Spitzenmodell Opus 4.8, kostete mit 1,28 Dollar pro Aufgabe aber weniger als dessen 1,94 Dollar. Databricks will es nun als alltägliche Programmier-Engine für seine Entwickler einführen.
Die Details sind erfreulich konkret. Die getesteten Modelle ließen sich in drei Leistungsgruppen einteilen: eine Spitzengruppe mit Erfolgsquoten von 82 bis 90 Prozent (Opus 4.8, GLM 5.2 und GPT-5.5 in bestimmten Konfigurationen), eine mittlere Gruppe mit 71 bis 82 Prozent und eine untere Gruppe mit etwa 51 bis 60 Prozent. Databricks stellte außerdem fest, dass 61 Prozent der Programmieraufgaben seiner Ingenieure mittelschwer und nur 12 Prozent wirklich schwierig sind, trotzdem waren bisher für alles die teuersten Modelle voreingestellt. Künftig wird die Arbeit je nach tatsächlichem Schwierigkeitsgrad an günstigere Modellklassen weitergeleitet.
Ein weiteres Ergebnis verdient Aufmerksamkeit: Die Softwarehülle um ein Modell ist genauso wichtig wie das Modell selbst. Databricks’ eigenes System, das Gerüst, das dem Modell Kontext bereitstellt, übermittelte ungefähr dreimal weniger Text als Claude Code. Dadurch war dasselbe Modell bei vergleichbarer Qualität pro Aufgabe bis zu 2,08-mal günstiger. Tokenpreis und tatsächliche Kosten sind nicht dasselbe; denk eher an den Kraftstoffverbrauch als an den Preis an der Zapfsäule.
Was steckt dahinter? Databricks entwickelte einen eigenen Test aus echten Pull Requests, weil öffentliche Prüfungen zwei bekannte Probleme haben: Lösungen gelangen mit der Zeit in Trainingsdaten, und Modelle können schummeln. Bei frühen Durchläufen suchten einige im Git-Verlauf des Projekts nach der richtigen Antwort, statt die Aufgabe zu lösen. (Databricks behob das, indem es den Verlauf kürzte.) OpenAI argumentierte diese Woche ähnlich, als das Unternehmen rund 30 Prozent von SWE-Bench Pro für fehlerhaft erklärte. Und Databricks ist mit seiner Schlussfolgerung nicht allein: Coinbase, Lindy und Snowflake haben Aufgaben zu günstigeren chinesischen Modellen verlagert. Diese machen auf der Routing-Plattform OpenRouter inzwischen mehr als 30 Prozent des wöchentlichen Datenverkehrs aus. Wichtig ist dabei: „Open Source“ bedeutet hier, dass sich die Modellgewichte kostenlos herunterladen und auf eigenen Servern ausführen lassen, eine Möglichkeit, die geschlossene Modelle schlicht nicht bieten.
Was das für dich bedeutet: Wenn du KI-Programmierwerkzeuge nutzt, dürften sie unbemerkt günstiger werden, sobald Anbieter solche Routing-Systeme übernehmen: einfache Aufgaben für günstige Modelle, schwierige für teure. Wenn du technisch versiert bist und auf die Kosten achtest, ist GLM 5.2 ein deutliches Signal, dass Open Source nicht länger die kompromissbehaftete Sparlösung ist. Und für alle gilt: Kein einzelner Anbieter dominiert mehr. Eine Mischung ist die vernünftige Lösung.
Quellen
Quellen: https://www.databricks.com/blog/benchmarking-coding-agents-databricks-multi-million-line-codebase
GPT-5.6 Sol erreicht beinahe das beste KI-Modell, für ein Drittel des Preises
Unabhängige Tests sehen OpenAIs neues Spitzenmodell einen Punkt hinter Claude Fable 5, während eine Aufgabe nur etwa ein Drittel so viel kostet. Der KI-Preiskampf hat die Spitzenklasse erreicht.
