Generalización

La generalización separa la memorización de la comprensión. Un modelo bien generalizado transfiere lo aprendido a situaciones nuevas. Uno malo parece fuerte en un terreno familiar y fracasa tan pronto como la tarea cambia ligeramente.

Los optimistas señalan que los modelos entrenados con texto, en particular, aprendieron lógica y planificación inesperadamente. Los escépticos ven los sistemas recientes como más concretos que amplios: el código y las matemáticas están mejorando, mientras que otras cosas se están estancando. Aún no está claro si se trata de comprensión o simplemente de una cobertura muy amplia de los datos de entrenamiento.