Preaddestramento
La prima e più costosa fase di addestramento, in cui un modello attraversa enormi quantità di testo e impara schemi generali.
È nel preaddestramento che un modello linguistico impara davvero la lingua. Si fa strada attraverso una pila enorme di testo, più e più volte, aggiustando i propri numeri interni per prevedere meglio ciò che viene dopo. Nessuno gli sta ancora dicendo di essere utile e non ha idea di cosa sia una chat. Assorbe soltanto schemi: grammatica, fatti, codice, la forma di un ragionamento. Questa fase divora la maggior parte del budget di calcolo e dura di solito dai tre ai sei mesi su un grande cluster.
Tutto ciò che rende piacevole parlare con un modello arriva dopo, nel fine-tuning e in passaggi affini molto più economici. Questa separazione spiega parecchie notizie di settore. Quando leggete che un modello è in preaddestramento, significa che il rilascio è ancora lontano mesi. E quando un laboratorio vuole migliorare il comportamento invece della conoscenza grezza, di solito non ricomincia da capo ma interviene sulle fasi successive.