Unsloth
Un projet open source qui permet d'affiner et d'exécuter des modèles de langage plus rapidement et suffisamment petit pour un GPU.
Unsloth est une petite équipe et une bibliothèque open source visant un problème pratique : adapter un modèle de langage à vos propres données nécessite généralement plus de mémoire qu’une machine normale. Unsloth réécrit les parties lentes de ce processus afin que le même travail tienne sur une seule carte graphique grand public et se termine plusieurs fois plus rapidement.
C’est également l’un des projets les plus rapides à publier des versions compressées et prêtes à l’emploi de nouveaux modèles ouverts, souvent quelques heures après leur sortie. Si vous avez déjà téléchargé un modèle quantifié depuis Hugging Face pour l’exécuter localement, il y a de fortes chances qu’il provienne d’Unsloth.