Inferenz

Inferenz bedeutet, ein trainiertes KI-Modell zu nutzen: Du gibst ihm eine Anfrage und erhältst eine Antwort. Das unterscheidet sich vom Training, dem sehr viel teureren, einmaligen Vorgang, bei dem zunächst die Gewichte des Modells entstehen.

Diese Unterscheidung hilft beim Verständnis der KI-Kosten. Das Training eines Frontier-Modells kann monatelange Arbeit und enorme Rechenleistung erfordern, doch diese Kosten fallen einmal an. Inferenz wird dagegen bei jeder einzelnen Nutzung bezahlt. Deshalb rechnen Anbieter sie meist pro Token ab, und deshalb sind Verbesserungen so wichtig, die Inferenz schneller oder günstiger machen.

Aus demselben Grund ist der lokale Betrieb kleinerer Modelle praktikabel: Selbst ein leistungsfähiger Laptop kann für viele Aufgaben Inferenz leisten, obwohl er das Modell niemals selbst hätte trainieren können.