aktive Parameter
Der Teil der Parameter eines Modells, der für ein einzelnes erzeugtes Wort tatsächlich eingeschaltet wird und bei Mixture-of-Experts-Modellen viel kleiner als die Gesamtzahl ist.
Parameter sind die anpassbaren Zahlen in einem Modell, und Größenangaben nennen gewöhnlich ihre Gesamtzahl. Aktive Parameter bezeichnen nur jene, die für ein bestimmtes Wort tatsächlich verwendet werden. Bei einem dichten Modell sind beide Zahlen gleich. Bei einem Mixture-of-Experts-Modell, das in spezialisierte Bereiche aufgeteilt ist und für jedes Token einige davon auswählt, unterscheiden sie sich stark: Ein mit 400 Milliarden Parametern beworbenes Modell aktiviert womöglich jeweils nur 30 Milliarden.
Die Unterscheidung ist aus zwei praktischen Gründen wichtig. Kosten und Geschwindigkeit richten sich nach der aktiven Zahl, denn nur dafür wird tatsächlich gerechnet. Deshalb können Mixture-of-Experts-Modelle viel günstiger laufen, als ihre Gesamtgröße vermuten lässt. Der Speicherbedarf richtet sich dagegen nach der Gesamtzahl, weil alle Parameter irgendwo geladen sein müssen, selbst wenn die meisten untätig bleiben. Darin liegt die Falle beim Betrieb zu Hause: Ein Modell kann schnell genug sein und trotzdem nicht in den Speicher passen.