Die Decisions API von OpenAI beantwortet schnelle Ja/Nein-Fragen für 0,10 $ pro Million Tokens
Der allgemein verfügbare Decisions API von OpenAI, der auf GPT-6 Luna aufbaut, gibt Wahrscheinlichkeiten für begrenzte Fragen wie Klassifizierung oder Routing zurück und berechnet keine Ausgabe Tokens.
OpenAI hat seinen Decisions API allgemein verfügbar gemacht. Es handelt sich um einen speziellen Endpunkt, der auf dem GPT-6 Luna-Modell basiert und für Fragen geeignet ist, bei denen die Antwort auf einen festen Satz von Optionen beschränkt ist: Ist dieses Foto beschädigt, welches Team soll diese E-Mail bearbeiten, was ist der nächste Schritt in diesem Workflow? Anstatt einen Absatz zu schreiben, wird eine Zahl zurückgegeben.
Sie definieren die Frage und die zulässigen Antworten und stellen dann den Kontext als Text, Bilder oder JSON bereit. Es gibt drei Antworttypen. Ein „Prädikat“ gibt eine Wahrscheinlichkeit von 0 bis 1 an, dass etwas wahr ist. Eine „Auswahl“ wählt eine Ihrer Optionen aus und gibt Wahrscheinlichkeiten und Konfidenzwerte an. Eine „Bewertung“ bewertet etwas anhand geordneter Ebenen, beispielsweise einer Qualitätsrubrik, als wahrscheinlichkeitsgewichteten Durchschnitt. Laut OpenAI ist es bis zu zehnmal schneller als die Verwendung von GPT-6 Luna über das normale Responses API. Zu den genannten Kunden gehören Datadog, das eine 40-mal schnellere p95-Latenz meldet (die Geschwindigkeit, die 95 Prozent der Anfragen übertreffen), und Speak, das die Zeit bis zur nächsten Aktion von 1,4 Sekunden auf 0,13 Sekunden verkürzt.
Die Preise sind bemerkenswert: 0,10 $ pro Million Eingaben Tokens (Tokens sind die kleinen Wortblöcke, die ein Modell liest), 0,01 $ pro Million zwischengespeicherter Eingaben Tokens und keine Gebühr für die Ausgabe Tokens. Da es sich bei der Ausgabe nur um ein kurzes Ergebnis handelt, ist das sinnvoll. Zu den neueren Ergänzungen gehören die Datenresidenz in den USA und der EU, Zero Data Retention für berechtigte Kunden, Prompt Caching, Bilder in Anweisungen und bis zu 400 Fragen in einer Anfrage. Die Geschwindigkeit und die Kundenzahlen sind die eigenen Ansprüche von OpenAI.
Was dahintersteckt: Die meisten echten Softwareprogramme benötigen keine KI, die chattet. Tausende Male am Tag muss eine schnelle und kostengünstige Entscheidung getroffen werden: Spam oder nicht, dringend oder nicht. Dafür ein Full-Chat-Modell zu verwenden, ist so, als würde man einen Romanautor engagieren, der Kästchen ankreuzt. Ein dedizierter Endpunkt, der Wahrscheinlichkeiten zurückgibt, lässt sich einfacher in normalen Code integrieren, da Sie Ihren eigenen Schwellenwert festlegen können, z. B. „Nur handeln, wenn über 90 Prozent“.
Was das für Sie bedeutet: Wenn Sie keinen Code schreiben, ist dies größtenteils unsichtbar; Möglicherweise bemerken Sie einfach, dass Apps schneller werden. Wenn Sie Tools oder Automatisierungen erstellen, lohnt es sich, Tests zur Sortierung, Weiterleitung und Qualitätsprüfung durchzuführen, wobei eine Person immer noch Fälle überprüft, bei denen das Modell unsicher ist. Konfidenzzahlen sind nützlich, aber keine Garantie.
Quellen
Flint: Ein 40B-Open-Coding-Modell, das mithilfe eines KI-Systems in vier Monaten aufgebaut wurde
Flint von Recursive ist ein Apache 2.0 Open-Weight-Coding-Modell, das auf Laptops läuft und größtenteils vom unternehmenseigenen KI-Forschungssystem entwickelt wurde, obwohl die Behauptungen nicht bestätigt sind.
