Un quadro di valutazione dell’IA più severo amplia il divario tra modelli aperti e chiusi
Artificial Analysis ha ricostruito il suo Intelligence Index con test prevalentemente privati e il divario tra i migliori modelli aperti e i leader è cresciuto da 3 punti a 12.
Artificial Analysis, un’azienda che si occupa di modelli di intelligenza artificiale, ha rilasciato la versione 5 del suo Intelligence Index e il quadro è cambiato. Con il nuovo punteggio, la distanza tra i migliori modelli aperti e la vetta della classifica è di 12 punti, rispetto ai 3 del vecchio indice. Kimi K3.1 Pro, il modello open-weight di Moonshot AI lanciato la scorsa settimana, è sceso dal quarto al nono posto, dietro otto modelli chiusi. The Decoder riporta inoltre che Grok 4.7 ha perso 12 punti, sebbene la sua nuova posizione non sia stata assegnata.
Il cambiamento principale riguarda il modo in cui vengono costruiti i test. Per la prima volta, il 60% dell’indice si basa su set di test privati, domande che i laboratori non possono vedere in anticipo. L’obiettivo è fermare quello che la comunità chiama “benchmaxxing”: addestrare un modello sulle domande esatte su cui verrà valutato, come uno studente che ha memorizzato l’esame dell’anno scorso. Artificial Analysis ha inoltre risolto domande ambigue o imperfette in AA-Omniscience, il suo test di conoscenza fattuale. Il pezzo di The Decoder non elenca le partiture complete, quindi la fonte primaria è l’articolo Artificial Analysis che cita.
Cosa c’è dietro: uno benchmark è un esame standardizzato per i modelli di intelligenza artificiale e ogni esame alla fine viene ingannato una volta che le risposte trapelano. Passare alle domande private è la solita soluzione. Inoltre, non è tutta la storia. Il ricercatore di intelligenza artificiale Nathan Lambert sostiene che molti vantaggi derivano dall’apprendimento per rinforzo (addestrando un modello premiando le buone risposte) in ambienti pratici che assomigliano ai test e che la costruzione di tali ambienti su larga scala richiede infrastrutture che non tutti i laboratori possiedono. In altre parole, i laboratori chiusi potrebbero semplicemente essere meglio attrezzati, non solo più bravi a imbrogliare o ad essere onesti.
C’è anche un compromesso. Con le domande private, gli estranei non possono verificare la presenza di errori nelle richieste e le correzioni a AA-Omniscience mostrano che tali errori si verificano realmente. Trasparente ma giocabile, o nascosto ma non verificabile: nessuno dei due è perfetto.
Che cosa significa per te: se sei nuovo a questo argomento, la conclusione è semplice. Un singolo punteggio in una classifica è una guida approssimativa, non un verdetto, e può cambiare molto quando il test cambia. Se si utilizzano modelli aperti per ragioni di privacy o di costi, i nuovi numeri ricordano di testare i candidati sui propri compiti piuttosto che fidarsi di una classifica. Un divario di 12 punti su un indice non significa 12 punti peggiori per le tue e-mail o fogli di calcolo. E se un annuncio di lancio cita una classifica, controlla quale versione dell’indice ha utilizzato.
Fonti
Fonti: https://the-decoder.com/new-artificial-analysis-index-widens-the-gap-between-open-and-closed-models/
Gli agenti IA della startup di sicurezza sono entrati nei sistemi aziendali di Anthropic ed entrambe le parti lo dicono in modo diverso
I ricercatori di Cathedral hanno utilizzato agenti IA per raggiungere alcuni software aziendali di terze parti di Anthropic. Anthropic conferma l'accesso limitato e afferma che le chat, il codice e il peso del modello di Claude non sono stati modificati.
