Généralisation
Dans quelle mesure un modèle transfère une compétence acquise à des situations inconnues.
La généralisation sépare la mémorisation de la compréhension. Un modèle bien généralisé transfère ce qui a été appris à de nouvelles situations. Un mauvais semble fort en terrain connu et échoue dès que la tâche change légèrement.
Les optimistes soulignent que les modèles formés avec du texte, en particulier, ont appris de manière inattendue la logique et la planification. Les sceptiques considèrent les systèmes récents comme étant plus pointus que plus larges : le code et les mathématiques s’améliorent, tandis que d’autres choses stagnent. Il reste difficile de savoir s’il s’agit d’une compréhension ou simplement d’une couverture très large des données d’entraînement.