I modelli stanno peggiorando apposta sui fatti?
Un post molto condiviso sostiene che i laboratori stiano scambiando conoscenza fattuale con efficienza di ragionamento. I numeri dei benchmark sono reali, anche se l'intenzione è più difficile da dimostrare.
Un post di Walter van der Giessen intitolato «Models Are Getting Dumber on Purpose» ha trascorso la domenica in prima pagina su Hacker News. L’argomento merita di essere capito anche se non si condivide l’impostazione: i laboratori di frontiera starebbero eliminando deliberatamente la conoscenza fattuale dai modelli per guadagnare ragionamento e velocità.
I numeri citati sono notevoli. GLM-5.2 ottiene il 99,2% ad AIME 2026, difficile competizione matematica, con 40 miliardi di parametri attivi. Qwen 3.5 raggiunge il 91,3% con 17 miliardi. I parametri attivi sono la parte del modello realmente accesa per ogni parola, molto inferiore al totale in una mixture-of-experts. Nel frattempo SimpleQA, che pone brevi domande fattuali, è guidato da Gemini 2.5 Pro intorno al 53%. Modelli quasi perfetti nella matematica olimpica sbagliano metà delle domande fattuali semplici.
La parte contestata è se ciò sia intenzionale. Esiste una spiegazione molto più noiosa: i fatti memorizzati occupano parametri, i parametri costano a ogni richiesta e un modello ottimizzato per i benchmark di ragionamento finisce naturalmente con meno nozioni. Nessuno deve riunirsi e decidere di far dimenticare il modello. Il risultato pratico è identico, e ne segue la conclusione di van der Giessen: se la memoria del modello non è affidabile, l’architettura sensata è un modello più piccolo con retrieval, dove i fatti vivono in un archivio documentale che il modello consulta invece che nei suoi pesi.
Il punto generale viene riscoperto di continuo. Un punteggio indica per che cosa un modello è stato ottimizzato, non tutto ciò in cui è bravo. Un numero salito perché un laboratorio lo ha preso di mira non equivale a un miglioramento generale, mentre le capacità che nessuno misura peggiorano in silenzio. Il richiamo fattuale è una di queste, perché è poco attraente e difficile da trasformare in un bel grafico.
Che cosa significa per te: tratta le risposte fattuali sicure con lo stesso sospetto riservato a uno sconosciuto sicuro di sé al bar, per quanto brillante sembri il ragionamento del modello. La soluzione pratica è semplice e gratuita: dagli la fonte. Incolla il documento, attiva la ricerca web o carica il PDF. Le risposte fondate su un testo fornito sono molto più affidabili di quelle tratte dalla memoria; è l’abitudine che migliora maggiormente i risultati quotidiani. Per chi sviluppa, è un invito al retrieval anziché a modelli più grandi: un piccolo modello locale con un buon indice documentale spesso batte un modello di frontiera che indovina a memoria, a una frazione del costo.
Fonti
Fonti: https://w4g1.dev/blog/models-are-getting-dumber-on-purpose
Stripe compra OpenRouter per oltre 7 miliardi di dollari
L'azienda dei pagamenti vuole il livello che decide quale modello IA risponde alla tua richiesta e poi lo fattura. La valutazione di OpenRouter è più che quintuplicata in tre mesi.
