Vibe check
Una prova informale e senza punteggio in cui una persona affida a un modello di IA un compito insolito e giudica il risultato a occhio.
Un vibe check è l’opposto di un benchmark. Un benchmark comprende attività fisse con risposte corrette note, così i punteggi possono essere confrontati tra modelli e seguiti nel tempo. In un vibe check, una persona assegna a un modello qualcosa di insolito e osserva il risultato. Non ci sono punteggi, confronti o ripetizioni sistematiche.
Il limite è evidente: vedi soltanto il tentativo che meritava di essere pubblicato, mai i quattro falliti, e nessuno può verificare il risultato in modo indipendente. Il metodo ha però anche un vero punto di forza. I benchmark pubblici finiscono nei dati di addestramento e vengono ottimizzati, quindi un punteggio elevato perde gradualmente il significato iniziale. Un compito insolito eseguito una sola volta coglie ciò che i punteggi non mostrano: se un modello sa portare avanti un lavoro lungo e descritto in modo vago senza perdere il filo. I vibe check sono aneddoti utili, non misurazioni.