OpenAI e Anthropic litigano su un benchmark, ma la disputa conta più dei punteggi
GPT-5.6 Sol ha ottenuto il 7,8% su ARC-AGI-3 nella configurazione ufficiale e il 38,3% in quella di OpenAI. La distanza spiega perché confrontare i risultati dei benchmark sia così difficile.
La settimana scorsa Claude Opus 5 di Anthropic ha stabilito un record del 30,2% su ARC-AGI-3, un benchmark di rompicapi progettato per verificare se un modello sa ricavare regole che non ha mai incontrato. Il 30 luglio OpenAI ha risposto: aggiungendo due impostazioni, GPT-5.6 Sol arriva al 38,3%. Nella configurazione ufficiale, lo stesso modello si era fermato al 7,8%.
Non è un refuso. La differenza dipende da due funzioni dell’API Responses di OpenAI. «Retained Reasoning» conserva da un passaggio all’altro la catena di ragionamento, cioè il lavoro interno del modello, invece di eliminarla. «Compaction» riassume il contesto più vecchio anziché tagliarlo quando la finestra si riempie. Senza entrambe, come nel sistema ufficiale, il modello perde il filo dopo ogni mossa. ARC Prize ha risposto che il suo ambiente è standardizzato proprio per mantenere equi i confronti. Il cofondatore François Chollet ha poi riconosciuto un punto a OpenAI: non sono ammesse configurazioni costruite apposta per aggirare il benchmark, ma le normali impostazioni API disponibili a tutti i clienti sono legittime. Di fatto, il punteggio ufficiale di ARC Prize potrebbe aver penalizzato OpenAI, forse perché ottenuto con una vecchia API priva di funzioni già presenti in quella di Anthropic.
Che cosa c’è dietro
Vale la pena capire il principio anche se non leggerai mai più una classifica. Un benchmark non misura mai soltanto il modello. Misura anche la struttura che lo circonda: come viene gestita la memoria, come si riduce il contesto, quanti tentativi sono concessi e quanta potenza di calcolo può consumare. Cambiando questa struttura, il risultato può quintuplicare, come è appena accaduto. Non significa che una delle due parti sia disonesta: stanno misurando cose diverse e le chiamano entrambe «punteggio del modello». La soluzione di Chollet è sensata: qualsiasi configurazione va bene, purché impostazioni e costi siano dichiarati con chiarezza.
Cosa significa per te: Considera un singolo punteggio di benchmark più come pubblicità che come misura. Quando un laboratorio sostiene di superare un rivale, chiediti quale configurazione abbia prodotto il numero e quanto sia costata. Se devi scegliere un modello per un lavoro reale, una piccola prova sulle tue attività ti dirà più di qualsiasi classifica. Per tutti gli altri, la lettura pratica è semplice: i due modelli sono vicini, mentre la distanza nel marketing è maggiore di quella nelle capacità.
Fonti
Fonti: https://openai.com/index/how-two-settings-tripled-our-arc-agi-3-scores/
Un testo invisibile in Word può dirottare Copilot e propagarsi nei documenti che genera
Un ricercatore ha mostrato che istruzioni nascoste in un documento possono spingere Microsoft 365 Copilot a modificare cifre e copiarle nel nuovo file. Le contromisure di Microsoft non hanno ancora risolto il problema.
