post-addestramento
Tutto fatto su un modello dopo il costoso addestramento di base, per modellare il suo comportamento.
La costruzione di un modello linguistico avviene in due grandi fasi. Innanzitutto c’è la pre-formazione, in cui il modello legge un’enorme quantità di testo e impara come funziona la lingua. Questa è la parte che costa centinaia di milioni e che solo una manciata di organizzazioni può permettersi. Il post-addestramento è tutto ciò che segue: insegnare al modello a seguire le istruzioni, a essere utile e sicuro o a specializzarsi in medicina, legge o codice.
Il post-allenamento è relativamente economico, motivo per cui i modelli a peso aperto sono così importanti. Se qualcuno pubblica un modello di base solido, un’azienda più piccola può eseguirne il post-addestramento sui propri dati di dominio e ritrovarsi con un vero specialista. Harvey ha fatto esattamente questo per costruire Harvey Tenet sopra Kimi K3.