← Glossario Termine
modello denso
Un modello che usa tutti i parametri per ogni parola prodotta, a differenza di una miscela di esperti.
In un modello denso, tutti i parametri, i numeri regolabili appresi durante l’addestramento, partecipano alla generazione di ogni parola. L’alternativa è la miscela di esperti, dove si attiva solo una piccola parte per parola, rendendo il modello molto più veloce rispetto alle dimensioni totali.
Il compromesso è semplice. I modelli densi offrono spesso più qualità per parametro; le miscele di esperti più velocità e meno memoria attiva per la loro dimensione. Per eseguirlo sul proprio computer, un modello denso più piccolo dà spesso risposte migliori di uno sparso nominalmente più grande, ma impiega più tempo.
Citato in