Un minuscolo modello linguistico ora sta nel settore di avvio da 512 byte di un PC

Su Hacker News questo fine settimana, un progetto chiamato bootgpt ha attirato l’attenzione per un motivo affascinante: si tratta di una piccola rete neurale che viene eseguita prima ancora che il computer abbia caricato un sistema operativo. Il suo codice si inserisce nei 510 byte del settore di avvio di un PC, il primo minuscolo blocco che una macchina legge all’avvio. Il README la chiama “una rete neurale che avvia il tuo PC”.

Non immaginare un chatbot. È un hobby e un progetto demoscene, il tipo di sfida che i programmatori amano fine a se stessa. Il modello contiene circa 11,5 KB di pesi memorizzati come numeri interi a 8 bit nei settori subito dopo il settore di avvio ed è stato addestrato per imitare i messaggi di avvio Linux, quelle righe di testo tecnico a scorrimento che vedi all’avvio di un sistema. Il suo output assomiglia a log del kernel confusi, perché il modello ha una finestra di contesto di soli otto caratteri. Una finestra di contesto rappresenta la quantità di testo recente che un modello può tenere a mente quando sceglie la lettera successiva e otto caratteri corrispondono all’incirca a una parola breve.

L’ingegneria è la parte interessante. Il codice di avvio è composto da 512 byte di assembly scritto a mano che carica i pesi tramite le vecchie routine del BIOS, stampa i caratteri e viene eseguito in modalità a 16 bit su un processore di classe 386. Per evitare calcoli pesanti, i pesi vengono quantizzati con scale potenza di due, quindi l’inferenza utilizza solo l’aritmetica dei numeri interi. Uno script Python riproduce gli stessi calcoli interi e il README afferma che il suo output corrisponde al carattere del settore di avvio per carattere. Si allena su circa 3 MB di falsi log di sistema generati.

Cosa c’è dietro: modelli linguistici di grandi dimensioni prevedono la parte di testo successiva da ciò che l’ha preceduta. bootgpt fa esattamente questo, solo con una rete a un livello nascosto e un vocabolario di singoli caratteri. Ciò dimostra che l’idea centrale è abbastanza piccola da poter essere compresa e che il salto verso i modelli odierni è principalmente dovuto a scala, dati e trucchi di addestramento. Mostra anche cosa fa la quantizzazione: ridurre i numeri per adattare meno memoria, lo stesso trucco che consente ai modelli più grandi di funzionare sui laptop.

I limiti sono chiari. Genera solo testo in stile registro di avvio, qualsiasi pressione di un tasto riavvia la macchina e il README menziona le macchine BIOS, non UEFI.

Che cosa significa per te: Niente di pratico, e va bene. Per i principianti, è un modo delicato per vedere che “AI” può essere una manciata di moltiplicazioni. Per gli esperti, ha bisogno di nasm, qemu e Python con numpy per essere compilato e può essere provato in un emulatore prima di considerare di scriverlo su una chiavetta USB.

Fonti

• bootgpt su GitHub