Vibe-Check
Ein informeller Test ohne Punktzahl, bei dem eine Person ein KI-Modell mit einer ungewöhnlichen Aufgabe ausprobiert und das Ergebnis nach Augenmaß beurteilt.
Ein Vibe-Check ist das Gegenteil eines Benchmarks. Ein Benchmark besteht aus festgelegten Aufgaben mit bekannten richtigen Antworten. Dadurch lassen sich Punktzahlen zwischen Modellen vergleichen und über längere Zeit verfolgen. Bei einem Vibe-Check gibt eine einzelne Person einem Modell eine ungewöhnliche Aufgabe und schaut sich an, was zurückkommt. Es gibt keine Punktzahl, keinen Vergleich und keine Wiederholungen.
Die Schwäche liegt auf der Hand: Du siehst nur den Versuch, der eine Veröffentlichung wert war, nie die vier gescheiterten Anläufe, und niemand kann das Ergebnis unabhängig überprüfen. Gleichzeitig hat die Methode eine echte Stärke. Öffentliche Benchmarks gelangen in Trainingsdaten und werden gezielt optimiert, sodass eine hohe Punktzahl nach und nach ihre ursprüngliche Aussagekraft verliert. Eine seltsame einmalige Aufgabe erfasst etwas, das Punktzahlen übersehen: ob ein Modell eine lange, nur vage beschriebene Aufgabe bewältigen kann, ohne den Faden zu verlieren. Betrachte Vibe-Checks als Anekdoten, durchaus nützliche, aber nicht als Messwerte.