Unsloth
Ein Open-Source-Projekt, das die Feinabstimmung und Ausführung von Sprachmodellen schneller und klein genug für eine GPU macht.
Unsloth ist ein kleines Team und eine Open-Source-Bibliothek, die auf ein praktisches Problem abzielt: Die Anpassung eines Sprachmodells an die eigenen Daten benötigt normalerweise mehr Speicher als eine normale Maschine. Unsloth schreibt die langsamen Teile dieses Prozesses neu, sodass derselbe Job auf eine einzige Consumer-Grafikkarte passt und um ein Vielfaches schneller abgeschlossen wird.
Es ist außerdem eines der schnellsten Projekte, um betriebsbereite, komprimierte Versionen neuer offener Modelle zu veröffentlichen, oft innerhalb weniger Stunden nach der Veröffentlichung. Wenn Sie jemals ein quantisiertes Modell von Hugging Face heruntergeladen haben, um es lokal auszuführen, besteht eine gute Chance, dass es von Unsloth stammt.