parámetros activos

Los parámetros son los números ajustables de un modelo, y los tamaños anunciados los cuentan todos. Los parámetros activos solo cuentan los que se usan para una palabra concreta. En un modelo denso ambas cifras coinciden. En una mezcla de expertos, donde el modelo se divide en secciones especializadas y un enrutador elige unas pocas para cada token, son muy distintas: un modelo anunciado con 400.000 millones de parámetros quizá active 30.000 millones cada vez.

La distinción importa por dos motivos prácticos. El coste y la velocidad siguen la cifra activa, porque ese es el cálculo que realmente se ejecuta; por eso una mezcla de expertos puede ser mucho más barata de operar de lo que su tamaño total sugiere. La memoria, en cambio, sigue el total, pues todos los parámetros deben estar cargados en algún lugar aunque la mayoría permanezca inactiva. Ahí está la trampa al usar uno en casa: un modelo puede ser suficientemente rápido y aun así no caber.