Méga-noyau
Un grand programme GPU qui fait le travail de nombreux petits programmes, de sorte que la puce passe moins de temps à attendre entre les étapes.
Un noyau est un petit programme qui s’exécute sur une puce graphique. Exécuter un modèle de langage signifie normalement lancer un grand nombre de ces petits programmes les uns après les autres, et chaque transfert fait perdre un peu de temps. Un méga-noyau fusionne plusieurs de ces étapes en un seul grand programme, afin que la puce puisse continuer à fonctionner sans s’arrêter pour savoir quoi faire ensuite.
Le gain est la rapidité, surtout lorsque vous exécutez un modèle sur votre propre machine et que chaque milliseconde compte. Le problème est que les méga-noyaux sont difficiles à construire et sont généralement réglés pour des puces spécifiques, donc une astuce qui fonctionne sur un ordinateur peut ne pas être utile sur un autre.