Il nuovo modello di Alibaba ottiene punteggi più alti e indovina di più: il tasso di allucinazioni passa dal 23 al 40%
Qwen3.8 Max ha guadagnato 10 punti sull'indice di intelligenza artificiale di analisi, eguagliando Claude Opus 4.8. Inoltre è diventato più lento, più costoso per attività e molto più disposto a inventare una risposta piuttosto che ammettere di non sapere.
Qwen3.8 Max di Alibaba ottiene un punteggio di 56 nell’indice di intelligenza artificiale di analisi, un salto di 10 punti rispetto al suo predecessore Qwen3.7 Max e sufficiente per raggiungere il livello di Claude Opus 4.8. Su GDPval-AA, un benchmark costruito attorno a compiti di lavoro realistici, è balzato di 468 punti Elo a 1.739, superando Kimi K3 e lasciando davanti a sé solo Claude Opus 5. Questo è un passo davvero grande in una versione.
Adesso il resto della tavola. Kimi K3 ottiene ancora un punto in più con 57, e lo fa pagando circa il 25% in meno. E il modo in cui Qwen3.8 Max ottiene il suo punteggio è costoso: sono necessari 64 passaggi per attività mentre la versione precedente ne richiedeva 14, e il testo di input che elabora è cresciuto di quindici volte, perché ogni passaggio rinvia l’intera conversazione finora. Alibaba ha tagliato i prezzi, con l’input sceso da 2,50 a 2,00 dollari per milione di token e l’output da 7,50 a 6,00, e il costo per attività ancora più che raddoppiato, da 0,53 a 1,14 dollari. Kimi K3 costa 0,86, GLM-5.2 costa 0,57.
Anche due punteggi sono andati indietro. L’AA-LCR, che verifica se un modello può mettere insieme fatti sparsi in un documento molto lungo, ha perso 2 punti. AA-Omniscience è scesa di 10. Il secondo è il numero interessante, per ciò che misura.
Cosa sta realmente succedendo qui
AA-Omniscience non si limita a chiedere se un modello risponde correttamente. Premia anche dire “Non lo so”. Qwen3.8 Max ha dato circa il 31% delle risposte giuste, più o meno le stesse di prima. Ma il suo tasso di allucinazioni, la percentuale di risposte sicuramente sbagliate invece di diminuire, è salito dal 23 al 40%. In parole povere: non è diventato più informato, è diventato più audace. Ora indovina in situazioni in cui la versione precedente avrebbe ammesso una lacuna.
Questo compromesso è facile da produrre per caso. Addestrare un modello affinché sia più utile, più persistente e più bravo nelle lunghe attività in più fasi lo spinge a produrre sempre qualcosa. Lo stesso istinto che lo fa compiere 64 passi per finire un lavoro lo fa anche riempire un fatto che non ha. Questo è un buon esempio del motivo per cui un numero di titolo non descrive mai un modello e perché la metrica di cui dovresti preoccuparti dipende interamente da ciò per cui lo usi.
Cosa significa per te: se stai scegliendo un modello, guarda oltre il punteggio massimo e guarda a due cose: costo per attività completata, non prezzo per milione di token, e come si comporta il modello quando non sa qualcosa. Per la ricerca, la sintesi di documenti o qualsiasi cosa su cui agirai, un modello che ammette lacune vale più di uno che ottiene due punti in più. Per un lavoro lungo e strutturato in cui controlli comunque l’output, il profilo approfondito ma costoso potrebbe essere adatto a te. E qualunque cosa tu usi, tratta un tono sicuro come uno stile di scrittura, non come una prova.
Fonti
Quando l'intelligenza artificiale scrive una storia per bambini sugli animali, i personaggi femminili quasi scompaiono
Uno studio dell’Università di Washington ha eseguito il completamento di quasi 24.000 storie attraverso sei modelli principali. Il 2% dei personaggi animali sono risultati femminili, il 41% maschi e il 57% neutrali o senza genere. I ricercatori sostengono che a causarlo sono stati i guardrail destinati a prevenire i pregiudizi.
