Mixture of Experts

Bei einem Expertenmix-Modell wird das Netzwerk in viele Teilnetzwerke aufgeteilt und ein Router wählt für jede Eingabe nur einige davon aus. Aus diesem Grund werden diese Modelle mit zwei Zahlen angegeben, zum Beispiel 284 Milliarden Gesamtparameter und 13 Milliarden aktive: Die erste gibt an, wie groß das Modell ist, die zweite gibt an, wie viel davon jedes Mal tatsächlich ausgeführt wird.

Der praktische Effekt besteht darin, dass Sie die Kenntnisse eines sehr großen Modells näher an den Betriebskosten eines kleinen Modells erwerben. Fast jedes neuere offene Modell, von DeepSeek bis hin zu Inkling von Thinking Machines, ist auf diese Weise aufgebaut. Der Kompromiss war früher der Speicher, da man immer noch das Ganze laden musste, obwohl man nur einen Teil davon nutzte. Laufzeitumgebungen wie Swiftlet schaffen hier Abhilfe, indem sie die ungenutzten Experten bei Bedarf von der Festplatte streamen.