Benchmark-Kontamination
Wenn die Fragen eines Tests in die Trainingsdaten eines Modells eingedrungen sind, spiegelt eine hohe Punktzahl eher das Gedächtnis als die Fähigkeiten wider.
Benchmarks sollen messen, was ein Modell leisten kann. Kontamination entsteht, wenn die Antworten die ganze Zeit über in den Trainingsdaten stecken und das Modell die Frage erkennt, anstatt sie zu lösen. Da Modelle auf riesigen Teilen des öffentlichen Webs trainiert werden und Benchmarks im öffentlichen Web veröffentlicht werden, geschieht dies ständig und lässt sich im Nachhinein oft nicht nachweisen.
Der praktische Effekt ist eine Score-Inflation, die wie ein Fortschritt aussieht. Eine Studie aus dem Jahr 2026 mit 60 Benchmarks ergab, dass fast die Hälfte Anzeichen einer Sättigung aufwies, was bedeutet, dass sich die Ergebnisse nahe der Spitze so gebündelt hatten, dass starke Modelle nicht mehr von schwachen unterschieden wurden. Die Lösung ist ein kontaminationsresistentes Design: Verwenden Sie nach dem Trainingsschluss veröffentlichtes Material, entfernen Sie identifizierende Details, die es einem Modell ermöglichen würden, die Quelle zu erkennen, und frieren Sie jeden Testfall ein. Der im August 2026 veröffentlichte Reconstruction-Benchmark ist ein strenges Beispiel, und Grenzmodelle erzielten dabei weitaus schlechtere Ergebnisse als bei vergleichbaren Tests mit umfassenderen Eingaben.