Karpathy ha trasformato un paragrafo di Tolkien in una scena 3D per dieci dollari e l'ha definito un vibe check
Andrej Karpathy ha dato a Claude Opus 5 l'apertura de Il Signore degli Anelli e ha ottenuto 5.500 righe di codice browser 3D funzionante in due ore. Sta attento a dire che questo non è un benchmark, che è la parte più utile della storia.
Andrej Karpathy ha consegnato a Claude Opus 5 un singolo paragrafo dall’apertura de Il Signore degli Anelli e ha chiesto una scena 3D. Due ore e circa un milione di token dopo, per un valore di circa dieci dollari, il modello ha prodotto 5.500 righe di codice che rendono la scena in Three.js, una libreria JavaScript per la grafica 3D che viene eseguita in un normale browser. Ha pubblicato la fonte in modo che altri possano riprodurla e modificarla. Eleven Labs ha fornito l’audio. Il modello ha posizionato e animato tutto il resto da solo.
La ragione dichiarata da Karpathy per fare questo è che i vecchi test informali sono logori. Il più noto è il test del pellicano di Simon Willison, che chiede a un modello di disegnare un SVG di un pellicano in sella a una bicicletta. Il soggetto è stato scelto perché è abbastanza assurdo che non ne esista un’immagine completa nei dati di addestramento, quindi il modello deve comporlo. Tale richiesta è stata più o meno risolta. Prima di ciò, Microsoft aveva fatto disegnare a GPT-4 un unicorno in TikZ nel suo documento Sparks of AGI del 2023 e aveva indicato il risultato come prova del ragionamento spaziale, in un momento in cui GPT-4 aveva sempre visto solo testo.
Un difetto è emerso immediatamente. Il modello non può guardare la propria uscita video. Ha controllato il suo lavoro tramite screenshot fissi, motivo per cui parti dell’animazione sono risultate errate. Karpathy definisce il tutto rozzo ma divertente e sottolinea che nessuno costruirebbe manualmente un mondo in questo modo, mentre con un modello non costa quasi nulla. Vede un percorso verso mondi di gioco generati su richiesta, in cui entri come personaggio secondario.
Cosa c’è dietro? Esistono due modi per misurare un modello e rispondono a domande diverse. Un benchmark è un insieme fisso di attività con risposte corrette note, quindi i punteggi possono essere confrontati tra modelli e nel tempo. Il suo punto debole è che una volta che un benchmark è pubblico, si diffonde nei dati di addestramento e i laboratori lo ottimizzano, quindi un punteggio elevato smette di avere il significato che aveva in passato. Un vibe check è l’opposto: una persona dà al modello qualcosa di strano e guarda cosa ritorna. Non può essere paragonato, non può essere valutato, ed è banalmente scelto con cura, dal momento che non si vedono mai i quattro tentativi falliti. Ciò che rileva è una cosa che i benchmark non riescono a cogliere, vale a dire se un modello può tenere insieme un compito lungo e sottospecificato senza cadere a pezzi. Karpathy è esplicito nel dire che si tratta di un vibe check e non di un benchmark, e che l’onestà vale più della demo.
Cosa significa per te: trattalo come una lezione di lettura piuttosto che come un prodotto. Quando vedi un’impressionante demo di intelligenza artificiale, le domande utili sono quanti tentativi sono stati necessari, chi ha scelto l’attività e se potresti rieseguirla tu stesso. Karpathy, pubblicando il codice, supera l’ultimo test, che è più di quanto riesce a gestire la maggior parte delle demo. La conclusione pratica per chiunque utilizzi questi strumenti quotidianamente è la modalità di fallimento: il modello ha sbagliato cose proprio laddove non riusciva a vedere il risultato del proprio lavoro. Questa è la regola generale. Laddove un modello non può controllare il suo output, controllalo tu stesso.
Fonti
Il nuovo spot pubblicitario di Alibaba su Qwen afferma che l’intelligenza artificiale prenderà il tuo lavoro e lo fa sembrare una vacanza
Un video di marketing per Qwen 3.8 vende il fatto di affidare il proprio lavoro a un'intelligenza artificiale come una libertà piuttosto che come una minaccia. Si tratta di una rottura deliberata rispetto alla messaggistica utilizzata dai laboratori occidentali, ed entrambe le versioni semplificano eccessivamente la stessa cosa.
