CourionAI
IT
Newsletter
← Tutte le notizie
open-source 3 min di lettura

Perché Databricks ha scelto un modello open source cinese come motore quotidiano per la programmazione

Databricks ha messo alla prova gli agenti di programmazione sulla propria base di codice da milioni di righe. Il modello open source GLM 5.2 ha eguagliato Opus 4.8 di Anthropic a due terzi del costo e diventerà la scelta predefinita.

Cavallo da tiro in stile risograph che trascina un carro di blocchi geometrici davanti a una fila di macchine più grandi, elaborate e inattive

Databricks, una delle maggiori aziende nel settore delle piattaforme dati, ha condotto un esperimento insolito: invece di fidarsi delle classifiche pubbliche sull’IA, ha valutato gli agenti di programmazione sulla propria base di codice, composta da milioni di righe in oltre dieci linguaggi di programmazione. Il vincitore in termini di convenienza è stato GLM 5.2, un modello open source cinese, che ha eguagliato per qualità il modello di punta Opus 4.8 di Anthropic, con un costo di 1,28 dollari per attività contro 1,94. Databricks ora prevede di adottarlo come motore quotidiano per il lavoro di programmazione dei propri sviluppatori.

I dettagli sono piacevolmente concreti. I modelli testati si sono distribuiti in tre fasce di prestazioni: un gruppo di testa con percentuali di successo dall’82 al 90% (Opus 4.8, GLM 5.2 e GPT-5.5 in determinate configurazioni), un gruppo intermedio tra il 71 e l’82% e una fascia inferiore attorno al 51-60%. Databricks ha inoltre scoperto che il 61% delle attività di programmazione dei suoi ingegneri è di media complessità e solo il 12% è davvero difficile, eppure fino a quel momento i modelli più costosi erano stati la scelta predefinita per tutto. D’ora in poi, il lavoro verrà indirizzato verso fasce più economiche in base alla sua effettiva difficoltà.

Un altro risultato merita attenzione: l’involucro software attorno a un modello conta tanto quanto il modello stesso. L’ambiente di Databricks, cioè l’impalcatura che fornisce il contesto al modello, inviava circa tre volte meno testo rispetto a Claude Code, rendendo lo stesso modello fino a 2,08 volte più economico per attività a parità di qualità. Il prezzo dei token e il costo reale non sono la stessa cosa: pensa ai consumi di carburante, non al prezzo alla pompa.

Cosa c’è dietro? Databricks ha creato il proprio benchmark a partire da vere pull request perché i test pubblici presentano due problemi noti: con il tempo, le soluzioni finiscono nei dati di addestramento e i modelli possono barare. Nelle prime prove, alcuni cercavano nella cronologia Git del progetto la risposta corretta invece di risolvere il compito. Databricks ha rimediato troncando la cronologia. Questa settimana OpenAI ha avanzato un’argomentazione simile, dichiarando difettoso circa il 30% di SWE-Bench Pro. E Databricks non è l’unica ad aver raggiunto questa conclusione: Coinbase, Lindy e Snowflake hanno tutte spostato parte del lavoro verso modelli cinesi meno costosi, che oggi superano il 30% del traffico settimanale sulla piattaforma di instradamento OpenRouter. Vale la pena precisare che qui «open source» significa che i pesi del modello possono essere scaricati gratuitamente ed eseguiti sui propri server, un’opzione che i modelli chiusi semplicemente non offrono.

Cosa significa per te: se usi strumenti di programmazione basati sull’IA, aspettati che diventino più economici senza clamore man mano che i fornitori adotteranno questo tipo di instradamento: i lavori facili ai modelli economici, quelli difficili ai modelli costosi. Se hai competenze tecniche e tieni d’occhio i costi, GLM 5.2 è un segnale forte che l’opzione open source non rappresenta più un compromesso al ribasso. E per tutti vale una conclusione: nessun singolo fornitore domina più. La soluzione sensata è una combinazione.

Fonti

Fonti: https://www.databricks.com/blog/benchmarking-coding-agents-databricks-multi-million-line-codebase

Articolo successivo

GPT-5.6 Sol quasi eguaglia il miglior modello di IA a un terzo del prezzo

Benchmark indipendenti collocano il nuovo modello di punta di OpenAI un punto dietro Claude Fable 5, con un costo per attività pari a circa un terzo. La guerra dei prezzi dell'IA ha raggiunto la fascia più alta.

Bilancia in stile risograph con un disco solare radioso su un piatto e una piccola pila di monete sull'altro, quasi in equilibrio