Unsloth
Un progetto open source che rende la messa a punto e l'esecuzione dei modelli linguistici più veloci e sufficientemente piccoli per una GPU.
Unsloth è un piccolo team e una libreria open source mirata a un problema pratico: adattare un modello linguistico ai propri dati di solito richiede più memoria di quella di cui dispone una normale macchina. Unsloth riscrive le parti lente di quel processo in modo che lo stesso lavoro possa essere contenuto in una singola scheda grafica consumer e termini molto più velocemente.
È anche uno dei progetti più veloci nel pubblicare versioni compresse e pronte per l’esecuzione di nuovi modelli aperti, spesso entro poche ore dal rilascio. Se hai mai scaricato un modello quantizzato da Hugging Face per eseguirlo localmente, ci sono buone probabilità che provenga da Unsloth.