Mixture of Experts

In un modello misto di esperti, la rete è suddivisa in molte sottoreti e un router ne seleziona solo alcune per ogni dato input. Ecco perché questi modelli vengono quotati con due numeri, ad esempio 284 miliardi di parametri totali e 13 miliardi attivi: il primo è quanto è grande il modello, il secondo è quanto di esso effettivamente esegue ogni volta.

L’effetto pratico è che si ottiene la conoscenza di un modello molto grande a un costo di esercizio più vicino a quello di uno piccolo. Quasi tutti i modelli aperti recenti, da DeepSeek a Inkling di Thinking Machines, sono costruiti in questo modo. Il compromesso era la memoria, dal momento che dovevi comunque caricare il tutto anche se ne usavi solo una parte. Runtime come Swiftlet ora eliminano questo problema trasmettendo in streaming gli esperti inutilizzati dal disco on demand.