LiveCodeBench
Eine Kodierung Benchmark, die ständig neue Probleme hinzufügt, sodass Modelle sich die Antworten während des Trainings nicht merken können.
Bei älteren Codierungstests besteht ein Kontaminationsproblem: Die Probleme und ihre Lösungen sind im öffentlichen Internet verfügbar, sodass ein Modell sie möglicherweise einfach gelesen hat. LiveCodeBench begegnet diesem Problem, indem es kontinuierlich neue Wettbewerbs-Programmierprobleme sammelt und ein Modell nur für Probleme bewertet, die nach der Trainingsunterbrechung veröffentlicht wurden.
Das macht es schwieriger, die Ergebnisse zu manipulieren und zwischen verschiedenen Versionen einfacher zu vergleichen, weshalb Labore sie zitieren. Es misst immer noch einen kleinen Teil der Programmierung, das eigenständige Lösen von Rätseln und sagt wenig darüber aus, ob ein Modell in einer großen vorhandenen Codebasis funktionieren kann.