collasso della modalità
Quando un modello si stabilizza in un modo preferito di dire le cose invece di diffondersi nei molti modi in cui una persona potrebbe esprimerlo.
Chiedi a dieci persone di descrivere la stessa foto e otterrai dieci frasi diverse. Un modello linguistico, chiesto ripetutamente la stessa cosa, tende a convergere su uno stile di casa. Questo restringimento è il collasso della modalità, e lo stato opposto, in cui il modello distribuisce le sue scelte in modo più uniforme tra le possibili frasi, è chiamato copertura della modalità.
La parte interessante è da dove viene. Bradley Emi della società di rilevamento Pangram sostiene che si tratta in gran parte di un effetto collaterale del post-addestramento, la fase in cui un modello apprende le regole su cosa evitare e come comportarsi. I modelli base, le versioni grezze prima di quella modellatura, scrivono con molta più varietà e sono di conseguenza più difficili da individuare. Se ciò vale, allora ogni guardrail aggiunto da un laboratorio rende la scrittura del suo modello un po’ più uniforme e un po’ più facile da individuare.