LiveCodeBench
Una codifica benchmark che continua ad aggiungere nuovi problemi in modo che i modelli non possano aver memorizzato le risposte durante l'addestramento.
I test di codifica più vecchi presentano un problema di contaminazione: i problemi e le relative soluzioni si trovano sull’Internet pubblica, quindi un modello potrebbe semplicemente averli letti. LiveCodeBench risolve questo problema raccogliendo continuamente nuovi problemi di programmazione competitivi e assegnando un punteggio a un modello solo sui problemi pubblicati dopo il termine della formazione.
Ciò rende i punteggi più difficili da valutare e più facili da confrontare tra le versioni, motivo per cui i laboratori lo citano. Misura ancora una fetta ristretta di programmazione, risoluzione di enigmi autonomi e dice poco sulla possibilità che un modello funzioni in una grande base di codice esistente.