Generalizzazione

La generalizzazione separa la memorizzazione dalla comprensione. Un modello ben generalizzato trasferisce ciò che è stato appreso in nuove situazioni. Uno cattivo appare forte su un terreno familiare e fallisce non appena il compito cambia leggermente.

Gli ottimisti sottolineano che i modelli addestrati con il testo in particolare hanno imparato inaspettatamente la logica e la pianificazione. Gli scettici ritengono che i sistemi recenti siano più mirati che ampi: il codice e la matematica stanno migliorando, mentre altre cose sono stagnanti. Non è chiaro se si tratti di comprensione o semplicemente di una copertura molto ampia dei dati di formazione.