Vibe check
Una prueba informal y sin puntuación en la que una persona plantea una tarea inusual a un modelo de IA y juzga el resultado a simple vista.
Un vibe check es lo contrario de un benchmark. Un benchmark reúne tareas fijas con respuestas correctas conocidas, de modo que las puntuaciones se pueden comparar entre modelos y seguir a lo largo del tiempo. En un vibe check, una persona encarga algo extraño a un modelo y observa lo que devuelve. No hay puntuación, comparación ni repeticiones sistemáticas.
Su debilidad es evidente: solo ves el intento que merecía publicarse, nunca los cuatro que fallaron, y nadie puede comprobar el resultado de forma independiente. Pero el método también tiene una ventaja real. Los benchmarks públicos acaban en los datos de entrenamiento y se optimizan de manera específica, por lo que una puntuación alta pierde poco a poco su significado original. Una tarea extraña realizada una sola vez capta algo que las puntuaciones pasan por alto: si un modelo puede mantener unido un trabajo largo y descrito de forma imprecisa sin venirse abajo. Los vibe checks son anécdotas útiles, no mediciones.