Post-Training
Alles, was nach dem teuren Basistraining an einem Modell vorgenommen wird, um sein Verhalten zu beeinflussen.
Der Aufbau eines Sprachmodells erfolgt in zwei großen Phasen. Zuerst kommt das Vortraining, bei dem das Modell eine enorme Textmenge liest und lernt, wie Sprache funktioniert. Das ist der Teil, der Hunderte Millionen kostet und den sich nur eine Handvoll Unternehmen leisten können. Nach dem Training geht es um alles, was danach kommt: Dem Modell beibringen, Anweisungen zu befolgen, hilfreich und sicher zu sein oder sich auf Medizin, Recht oder Code zu spezialisieren.
Nach dem Training ist es vergleichsweise günstig, weshalb Modelle mit offenem Gewicht so wichtig sind. Wenn jemand ein starkes Basismodell veröffentlicht, kann ein kleineres Unternehmen es anhand seiner eigenen Domänendaten nachtrainieren und am Ende einen echten Spezialisten haben. Harvey hat genau das getan, um Harvey Tenet auf Kimi K3 aufzubauen.
-
Microsoft zeigt eine Vorschau von MAI-Base-2, einem 2,8-Billionen-Parameter-Modell, das Microsoft nicht offen freigibt
-
Nvidia öffnet Nemotron 3.5 Super VL und ein lokales Coding-Modell, das in 24 GB passt
-
KI könnte wie ein Mensch schreiben. Sicherheitstraining ist das, was es verrät
-
Ein legales KI-Unternehmen baute sein eigenes Modell auf und begann mit einem offenen chinesischen Modell
-
OpenAI sagt, GPT-5.6 Sol habe seinen eigenen kleineren Bruder trainiert