Un pequeño modelo de lenguaje ahora cabe en el sector de arranque de 512 bytes de una PC
El proyecto hobby bootgpt ejecuta una red neuronal a nivel de carácter desde el sector de arranque de una PC, con 11,5 KB de pesos que imitan los mensajes de arranque Linux.
En Hacker News este fin de semana, un proyecto llamado bootgpt llamó la atención por una encantadora razón: es una pequeña red neuronal que se ejecuta incluso antes de que su computadora haya cargado un sistema operativo. Su código cabe en los 510 bytes del sector de arranque de una PC, el primer bloque pequeño que lee una máquina cuando se inicia. El README lo llama “una red neuronal que inicia tu PC”.
No te imagines un chatbot. Es un proyecto de hobby y demoscene, el tipo de desafío que los programadores disfrutan por sí mismo. El modelo tiene aproximadamente 11,5 KB de pesos almacenados como enteros de 8 bits en los sectores justo después del sector de arranque, y ha sido entrenado para imitar los mensajes de arranque Linux, esas líneas de texto técnico que se desplazan y que se ven cuando se inicia un sistema. Su salida parece registros del kernel confusos, porque el modelo tiene una ventana de contexto de sólo ocho caracteres. Una ventana de contexto es la cantidad de texto reciente que un modelo puede tener en cuenta al elegir la siguiente letra, y ocho caracteres son aproximadamente una palabra corta.
La ingeniería es la parte interesante. El código de arranque consta de 512 bytes de ensamblaje escrito a mano que carga los pesos a través de antiguas rutinas de BIOS, imprime caracteres y se ejecuta en modo de 16 bits en un procesador de clase 386. Para evitar operaciones matemáticas complicadas, los pesos se cuantifican con escalas de potencia de dos, por lo que la inferencia utiliza únicamente aritmética de enteros. Un script Python reproduce las mismas matemáticas de enteros y el archivo README dice que su salida coincide con el sector de arranque carácter por carácter. Se entrena con aproximadamente 3 MB de registros del sistema falsos generados.
Qué hay detrás de esto: Los modelos de lenguaje grandes predicen el siguiente fragmento de texto a partir del anterior. bootgpt hace exactamente eso, sólo que con una red de una capa oculta y un vocabulario de caracteres únicos. Muestra que la idea central es lo suficientemente pequeña como para comprenderla y que el salto a los modelos actuales se basa principalmente en trucos de escala, datos y entrenamiento. También muestra lo que hace la cuantización: reducir números para que quepan menos memoria, el mismo truco que permite que modelos más grandes funcionen en computadoras portátiles.
Los límites son claros. Genera solo texto de estilo de registro de arranque, cualquier pulsación de tecla reinicia la máquina y el archivo README menciona máquinas BIOS, no UEFI.
Qué significa esto para ti: Nada práctico y está bien. Para los principiantes, es una manera suave de ver que la “IA” puede ser un puñado de multiplicaciones. Para los aficionados, necesita nasm, qemu y Python con numpy para compilarlo, y se puede probar en un emulador antes de considerar escribirlo en una memoria USB.
Fuentes
Fuentes: https://github.com/kerlenton/bootgpt
Claude eligió una terapia genética y guió una inyección en el cerebro de un ratón, dicen los investigadores
Un equipo vinculado a Oxford dice que Claude Sonnet 5 eligió la terapia y el objetivo y realizó una inyección en el cerebro de un ratón con la aprobación de un veterinario; los resultados no se revisan.
