parametri attivi
La parte dei parametri di un modello realmente attivata per ogni singola parola, molto inferiore al totale nelle architetture mixture-of-experts.
I parametri sono i numeri regolabili all’interno di un modello e le dimensioni pubblicizzate li contano tutti. I parametri attivi comprendono solo quelli effettivamente usati per una determinata parola. In un modello denso i due numeri coincidono. In un’architettura mixture-of-experts, dove il modello è diviso in sezioni specializzate e un router ne sceglie alcune per ogni token, sono molto diversi: un modello pubblicizzato con 400 miliardi di parametri potrebbe attivarne 30 miliardi alla volta.
La distinzione conta per due motivi pratici. Costo e velocità seguono il numero attivo, perché corrisponde ai calcoli realmente eseguiti; ecco perché i modelli mixture-of-experts possono costare molto meno di quanto suggerisca la dimensione totale. La memoria, invece, segue il totale, perché tutti i parametri devono essere caricati da qualche parte anche se la maggior parte resta inattiva. Questa è la trappola nell’uso domestico: un modello può essere abbastanza veloce e comunque non entrare in memoria.