← Glosario Término
predicción de varios tokens
Una técnica de velocidad donde el modelo predice varias palabras a la vez en lugar de una.
Los modelos suelen producir un token, unos tres cuartos de palabra, mirar lo escrito y generar el siguiente. La predicción de varios tokens propone una secuencia corta y la verifica en conjunto. Si acierta, obtiene varias palabras por casi el coste de una.
Para ejecutar un modelo en casa es una de las grandes palancas de velocidad y puede convertir el mismo equipo de lento a ágil. Está relacionada con la decodificación especulativa, que usa un modelo auxiliar pequeño para proponer.
Mencionado en