← Glosario Término
modelo denso
Un modelo que usa todos sus parámetros para cada palabra, a diferencia de una mezcla de expertos.
En un modelo denso, todos los parámetros, los números ajustables aprendidos durante el entrenamiento, intervienen en cada palabra. La alternativa es la mezcla de expertos, donde solo una pequeña parte se activa por palabra, lo que la hace mucho más rápida para su tamaño.
El intercambio es sencillo. Los modelos densos suelen ofrecer más calidad por parámetro; las mezclas de expertos, más velocidad y menos memoria activa para su tamaño total. Para ejecutarlo en tu equipo, un modelo denso pequeño suele responder mejor que uno disperso nominalmente mayor, pero tarda más.
Mencionado en