IFEval

Ein Benchmark, der testet, ob ein Modell klare, überprüfbare Anweisungen befolgt.

IFEval stellt Musteranweisungen bereit, die automatisch überprüft werden können, beispielsweise „Schreiben Sie weniger als 100 Wörter ein“ oder „Fügen Sie das Wort Blau zweimal ein.“ Die Punktzahl ist der Anteil der Anweisungen, denen es folgt.

Es handelt sich um einen engen Test der Einhaltung von Formaten und Regeln, nicht darum, wie intelligent oder hilfreich das Modell insgesamt ist.