Un petit modèle de langage s'intègre désormais dans le secteur de démarrage de 512 octets d'un PC

Sur Hacker News ce week-end, un projet appelé bootgpt a attiré l’attention pour une raison charmante : il s’agit d’un petit réseau neuronal qui s’exécute avant même que votre ordinateur n’ait chargé un système d’exploitation. Son code tient dans les 510 octets du secteur de démarrage d’un PC, le premier petit bloc qu’une machine lit au démarrage. Le README l’appelle “un réseau neuronal qui démarre votre PC”.

N’imaginez pas un chatbot. Il s’agit d’un projet de loisir et de scène de démonstration, le genre de défi que les programmeurs apprécient en soi. Le modèle contient environ 11,5 Ko de poids stockés sous forme d’entiers de 8 bits dans les secteurs juste après le secteur de démarrage, et il a été formé pour imiter les messages de démarrage Linux, ces lignes défilantes de texte technique que vous voyez lorsqu’un système démarre. Sa sortie ressemble à des journaux de noyau tronqués, car le modèle possède une fenêtre contextuelle de seulement huit caractères. Une fenêtre contextuelle correspond à la quantité de texte récent qu’un modèle peut garder à l’esprit lors du choix de la lettre suivante, et huit caractères correspondent à peu près à un mot court.

L’ingénierie est la partie intéressante. Le code de démarrage est constitué de 512 octets d’assemblage écrit à la main qui charge les poids via d’anciennes routines du BIOS, imprime les caractères et s’exécute en mode 16 bits sur un processeur de classe 386. Pour éviter des calculs lourds, les poids sont quantifiés avec des échelles de puissance de deux, de sorte que l’inférence utilise uniquement l’arithmétique des nombres entiers. Un script Python reproduit les mêmes calculs de nombres entiers, et le README indique que sa sortie correspond au caractère du secteur de démarrage pour le caractère. Il s’entraîne sur environ 3 Mo de faux journaux système générés.

Qu’est-ce qui se cache derrière : Les grands modèles de langage prédisent le prochain morceau de texte à partir de ce qui l’a précédé. bootgpt fait exactement cela, uniquement avec un réseau à une seule couche cachée et un vocabulaire de caractères uniques. Cela montre que l’idée de base est suffisamment petite pour être comprise et que le passage aux modèles actuels repose principalement sur des astuces d’échelle, de données et d’entraînement. Il montre également ce que fait la quantification : réduire les nombres pour insérer moins de mémoire, la même astuce qui permet à des modèles plus gros de fonctionner sur des ordinateurs portables.

Les limites sont claires. Il génère uniquement du texte de type journal de démarrage, toute pression sur une touche redémarre la machine et le README mentionne les machines BIOS, pas UEFI.

Ce que cela signifie pour vous : Rien de pratique, et c’est très bien. Pour les débutants, c’est une manière douce de voir que « l’IA » peut être une poignée de multiplications. Pour les bricoleurs, il a besoin de nasm, qemu et Python avec numpy pour être construit, et peut être essayé dans un émulateur avant d’envisager de l’écrire sur une clé USB.

Sources

• bootgpt sur GitHub