Preentrenamiento

En el preentrenamiento es donde un modelo de lenguaje aprende de verdad el idioma. Se abre paso por una pila enorme de texto, una y otra vez, ajustando sus números internos para predecir mejor lo que viene después. Todavía nadie le dice que sea útil, y no tiene ni idea de qué es una conversación. Solo absorbe patrones: gramática, hechos, código, la forma de un argumento. Esta fase se come casi todo el presupuesto de cómputo y suele durar de tres a seis meses en un clúster grande.

Todo lo que hace agradable hablar con un modelo llega después, en el ajuste fino y pasos afines que son mucho más baratos. Esa separación explica bastantes noticias del sector. Cuando lee que un modelo está en preentrenamiento, significa que su publicación queda a meses de distancia. Y cuando un laboratorio quiere mejorar el comportamiento en vez del conocimiento bruto, normalmente no empieza de cero, sino que retoca las etapas posteriores.