Meganúcleo
Un programa de GPU grande que hace el trabajo de muchos pequeños, por lo que el chip pasa menos tiempo esperando entre pasos.
Un kernel es un pequeño programa que se ejecuta en un chip gráfico. Ejecutar un modelo de lenguaje normalmente significa lanzar muchos de estos pequeños programas uno tras otro, y cada transferencia desperdicia un poco de tiempo. Un meganúcleo fusiona muchos de esos pasos en un gran programa, de modo que el chip puede seguir funcionando sin detenerse para que le digan qué hacer a continuación.
La recompensa es la velocidad, especialmente cuando ejecutas un modelo en tu propia máquina y cada milisegundo cuenta. El problema es que los meganúcleos son difíciles de construir y generalmente están ajustados para chips específicos, por lo que un truco que funciona en una computadora puede no ayudar en otra.