Ein winziges Sprachmodell passt jetzt in den 512-Byte-Bootsektor eines PCs
Das Hobbyprojekt bootgpt betreibt ein neuronales Netzwerk auf Zeichenebene im Bootsektor eines PCs mit 11,5 KB Gewichten, die Linux-Bootnachrichten imitieren.
Auf Hacker News erregte dieses Wochenende ein Projekt namens bootgpt aus einem charmanten Grund Aufmerksamkeit: Es handelt sich um ein kleines neuronales Netzwerk, das ausgeführt wird, bevor Ihr Computer überhaupt ein Betriebssystem geladen hat. Sein Code passt in die 510 Bytes des Bootsektors eines PCs, den ersten winzigen Block, den eine Maschine beim Starten liest. Die README-Datei nennt es „ein neuronales Netzwerk, das Ihren PC startet“.
Stellen Sie sich keinen Chatbot vor. Es ist ein Hobby- und Demoszene-Projekt, eine Art Herausforderung, die Programmierer um ihrer selbst willen genießen. Das Modell besteht aus etwa 11,5 KB Gewichten, die als 8-Bit-Ganzzahlen in den Sektoren direkt nach dem Boot-Sektor gespeichert sind, und es wurde darauf trainiert, Linux-Boot-Meldungen zu imitieren, diese scrollenden technischen Textzeilen, die Sie sehen, wenn ein System startet. Seine Ausgabe sieht aus wie verstümmelte Kernel-Protokolle, da das Modell ein Kontextfenster von nur acht Zeichen hat. Ein Kontextfenster gibt an, wie viel aktuellen Text ein Modell im Gedächtnis behalten kann, wenn es den nächsten Buchstaben auswählt, und acht Zeichen entsprechen ungefähr einem kurzen Wort.
Die Technik ist der interessante Teil. Der Boot-Code besteht aus 512 Bytes handgeschriebener Assembly, die die Gewichte über alte BIOS-Routinen lädt, Zeichen druckt und im 16-Bit-Modus auf einem Prozessor der 386-Klasse läuft. Um aufwändige Mathematik zu vermeiden, werden die Gewichte mit Zweierpotenzskalen quantisiert, sodass die Inferenz nur ganzzahlige Arithmetik verwendet. Ein Python-Skript reproduziert die gleiche Ganzzahl-Mathematik, und in der README-Datei heißt es, dass seine Ausgabe Zeichen für Zeichen mit dem Bootsektor übereinstimmt. Es trainiert auf etwa 3 MB generierter gefälschter Systemprotokolle.
Was dahinter steckt: Große Sprachmodelle sagen den nächsten Text aus dem voraus, was vorher kam. bootgpt macht genau das, nur mit einem einschichtigen Netzwerk und einem Vokabular aus einzelnen Zeichen. Es zeigt, dass die Kernidee klein genug ist, um verstanden zu werden, und dass der Sprung zu den heutigen Modellen hauptsächlich aus Skalen-, Daten- und Trainingstricks besteht. Es zeigt auch, was die Quantisierung bewirkt: Zahlen verkleinern, um weniger Speicher unterzubringen, derselbe Trick, mit dem größere Modelle auf Laptops laufen können.
Grenzen sind klar. Es wird nur Text im Boot-Log-Stil generiert, jeder Tastendruck startet den Computer neu und in der README-Datei werden BIOS-Computer erwähnt, nicht UEFI.
Was das für Sie bedeutet: Nichts Praktisches, und das ist in Ordnung. Für Anfänger ist es eine sanfte Möglichkeit zu erkennen, dass „KI“ aus einer Handvoll Multiplikationen bestehen kann. Bastler brauchen zum Bauen nasm, qemu und Python mit numpy und können es in einem Emulator ausprobieren, bevor sie darüber nachdenken, es auf einen USB-Stick zu schreiben.
Quellen
Quellen: https://github.com/kerlenton/bootgpt
Laut Forschern entschied sich Claude für eine Gentherapie und leitete eine Injektion in das Gehirn einer Maus
Ein mit Oxford verbundenes Team sagt, dass Claude Sonnet 5 die Therapie und das Ziel ausgewählt und mit Genehmigung eines Tierarztes eine Mäusehirninjektion durchgeführt habe; Die Ergebnisse werden nicht überprüft.
