← Glossario Termine
GDPval
Un punto di riferimento OpenAI per un lavoro d'ufficio realistico invece di puzzle astratti.
Gli assegni GDPval retribuiscono il lavoro quotidiano: progettazione di documenti, modifica di tabelle, ricerca e risoluzione di attività in più fasi con voci disordinate. OpenAI lo ha sviluppato come controparte delle domande d’esame che premiano solo una forma ristretta di intelligenza.
I risultati sono espressi in punti Elo anziché in percentuale; Ciò che è importante è la distanza tra i modelli, non il numero assoluto. Poiché OpenAI ha creato il benchmark allo stesso tempo e vi compete, dovrebbe essere solo uno dei tanti segnali decisionali.
Citato in
-
La nuova modalità ultraveloce di OpenAI esegue il suo modello migliore 14 volte più velocemente
-
Il nuovo modello gratuito di Nvidia non è il più intelligente. È semplicemente molto, molto veloce
-
Il nuovo modello di Alibaba ottiene punteggi più alti e indovina di più: il tasso di allucinazioni passa dal 23 al 40%
-
DeepSeek aggiorna il suo modello economico e raggiunge quello di OpenAI