Distillazione

Costruire un modello di punta da zero costa una fortuna. La distillazione è la scorciatoia: si prende un modello esistente e costoso, gli si pongono enormi quantità di domande e si addestra un nuovo modello più piccolo sulle sue risposte. Il modello piccolo non vede mai i dati di addestramento originali né i pesi, solo gli output, ma ne assorbe una quantità sorprendente di comportamento. Il risultato è un modello molto più economico da costruire e da far girare, a costo di un po’ di qualità.

Fatta all’interno di una stessa azienda è prassi normale, ed è così che nascono la maggior parte dei modelli piccoli e veloci che usate. Fatta fra aziende diverse diventa subito controversa, perché consente a un laboratorio di assorbire il costoso lavoro di un rivale attraverso l’interfaccia pubblica. Oggi quasi tutti i fornitori la vietano nelle condizioni d’uso, diversi hanno accusato i concorrenti di praticarla comunque, e i laboratori che la evitano tendono a dirlo ad alta voce.