Destillation
Ein kleineres Modell auf den Antworten eines größeren trainieren, damit es dessen Verhalten günstig nachahmt.
Ein Spitzenmodell von Grund auf zu bauen kostet ein Vermögen. Destillation ist die Abkürzung: Man nimmt ein bestehendes, teures Modell, stellt ihm riesige Mengen Fragen und trainiert ein kleineres neues Modell auf dessen Antworten. Das kleine Modell sieht weder die ursprünglichen Trainingsdaten noch die Gewichte, nur die Ausgaben, übernimmt davon aber erstaunlich viel Verhalten. Ergebnis ist ein Modell, das deutlich billiger zu bauen und zu betreiben ist, bei etwas Qualitätsverlust.
Innerhalb eines Unternehmens ist das gängige Praxis und der Weg, auf dem die meisten kleinen, schnellen Modelle entstehen, die Sie nutzen. Zwischen Unternehmen wird es schnell strittig, denn so kann ein Labor die teure Arbeit eines Konkurrenten über die öffentliche Schnittstelle aufsaugen. Die meisten Anbieter verbieten es inzwischen in ihren Nutzungsbedingungen, mehrere haben Konkurrenten beschuldigt, es trotzdem zu tun, und Labore, die darauf verzichten, sagen das gern laut.
-
Forscher haben einen Weg gefunden, die verborgenen Gedanken von Claude, ChatGPT und Gemini zu lesen
-
Google hat aus einem fertigen Modell ein viel schnelleres gemacht und das Rezept veröffentlicht
-
TikTok-Besitzer ByteDance trainiert Berichten zufolge Chinas bisher größtes KI-Modell
-
Die Gewichte von Kimi K3 sind endlich öffentlich, und 1,4 Terabyte schwer
-
Nadella: Du zahlst für KI zweimal, einmal mit Geld, einmal mit deinem Wissen
-
Wo das Netz endet, beginnt kleine KI: Winzige Modelle retten offline Leben