Vibe check
Un essai informel et sans note, dans lequel une personne soumet une tâche inhabituelle à un modèle d’IA et juge le résultat à l’œil.
Un vibe check est l’opposé d’un benchmark. Un benchmark réunit des tâches fixes dont les bonnes réponses sont connues, ce qui permet de comparer les scores des modèles et de suivre leur évolution. Pour un vibe check, une personne confie simplement une tâche étrange à un modèle et observe le résultat. Il n’y a ni score, ni comparaison, ni répétition systématique.
Sa faiblesse est évidente: vous ne voyez que l’essai qui méritait d’être publié, jamais les quatre tentatives ratées, et personne ne peut vérifier le résultat de façon indépendante. Mais cette méthode possède aussi un véritable intérêt. Les benchmarks publics finissent dans les données d’entraînement et les laboratoires les optimisent, si bien qu’un score élevé perd peu à peu son sens initial. Une tâche unique et insolite révèle ce que les scores ignorent: la capacité d’un modèle à mener jusqu’au bout un travail long et vaguement défini sans se désorganiser. Les vibe checks sont des anecdotes utiles, pas des mesures.