Megakernel
Ein großes GPU-Programm, das die Arbeit vieler kleinerer Programme übernimmt, sodass der Chip weniger Zeit mit dem Warten zwischen den Schritten verbringt.
Ein Kernel ist ein kleines Programm, das auf einem Grafikchip läuft. Das Ausführen eines Sprachmodells bedeutet normalerweise, viele dieser kleinen Programme nacheinander zu starten, und jede Übergabe verschwendet ein wenig Zeit. Ein Megakernel fasst viele dieser Schritte in einem großen Programm zusammen, sodass der Chip weiterarbeiten kann, ohne anhalten zu müssen, um zu erfahren, was als nächstes zu tun ist.
Der Lohn liegt in der Geschwindigkeit, insbesondere wenn Sie ein Modell auf Ihrer eigenen Maschine ausführen und jede Millisekunde zählt. Der Haken daran ist, dass Megakernels schwer zu bauen sind und normalerweise auf bestimmte Chips abgestimmt sind, sodass ein Trick, der auf einem Computer funktioniert, auf einem anderen möglicherweise nicht hilft.