Geschmacksbank
Ein Benchmark, der testet, ob ein KI-Agent an wichtigen Entscheidungspunkten einer langen Aufgabe die bessere Richtung wählt.
Taste-Bench ist ein Test, der von Forschern des Microsoft und der City University of Hong Kong durchgeführt wurde. Anstatt zu fragen, ob ein Agent eine Aufgabe abgeschlossen hat, friert es einen Agenten mittendrin ein und bittet ein Modell, zwischen zwei möglichen nächsten Richtungen zu wählen, und vergleicht dann die Wahl mit dem, was später tatsächlich geklappt hat.
„Geschmack“ nennen die Forscher diese Fähigkeit, das Urteil darüber, welcher Weg sich voraussichtlich auszahlen wird. Die bisherigen Ergebnisse sind bescheiden, was darauf hindeutet, dass eine gute Auswahl eine von der Erledigung einer Arbeit getrennte Fähigkeit ist.