dichtes Modell
Ein Modell, das für jedes erzeugte Wort alle seine Parameter verwendet, anders als ein Mixture-of-Experts-Modell.
Bei einem dichten Modell sind alle Parameter, also die beim Training gelernten anpassbaren Zahlen, an der Erzeugung jedes Wortes beteiligt. Die Alternative ist ein Mixture-of-Experts-Modell, bei dem pro Wort nur ein kleiner Teil des Modells aktiv wird. Dadurch arbeitet es gemessen an seiner Gesamtgröße deutlich schneller.
Der Unterschied ist leicht zu merken. Dichte Modelle liefern für ihre Parameterzahl oft eine besonders hohe Qualität. Mixture-of-Experts-Modelle liefern für ihre Gesamtgröße mehr Geschwindigkeit und benötigen weniger aktiven Speicher. Wenn du ein Modell für den eigenen Rechner auswählst, gibt ein kleineres dichtes Modell häufig bessere Antworten als ein nominell größeres, dünn aktiviertes Modell, braucht dafür aber länger.