L'API Decisions d'OpenAI répond rapidement aux questions oui/non pour 0,10 $ par million de tokens

OpenAI a rendu son Decisions API disponible pour tous. Il s’agit d’un point de terminaison spécial, construit sur le modèle GPT-6 Luna, pour les questions dont la réponse est limitée à un ensemble fixe d’options : cette photo est-elle endommagée, quelle équipe doit traiter cet e-mail, quelle est la prochaine étape de ce flux de travail. Au lieu d’écrire un paragraphe, il renvoie un nombre.

Vous définissez la question et les réponses autorisées, puis fournissez le contexte sous forme de texte, d’images ou de JSON. Il existe trois types de réponses. Un « prédicat » donne une probabilité de 0 à 1 que quelque chose soit vrai. Un « choix » sélectionne l’une de vos options et rapporte les probabilités et la confiance. Un « score » évalue quelque chose par rapport à des niveaux ordonnés, comme une rubrique de qualité, sous la forme d’une moyenne pondérée en fonction des probabilités. OpenAI indique que c’est jusqu’à 10 fois plus rapide que d’utiliser GPT-6 Luna via le Responses API normal. Les clients cités incluent Datadog, qui signale une latence p95 40 fois plus rapide (la vitesse dépassée par 95 % des requêtes), et Speak, qui réduit le temps nécessaire à l’action suivante de 1,4 seconde à 0,13.

Le prix est remarquable : 0,10 $ par million de tokens d’entrée (les tokens sont les petits morceaux de mots qu’un modèle lit), 0,01 $ par million de tokens d’entrée en cache et aucun frais pour les tokens de sortie. Puisque le résultat n’est qu’un court résultat, cela est logique. Les ajouts les plus récents incluent la résidence des données aux États-Unis et dans l’UE, Zero Data Retention pour les clients éligibles, le prompt caching, les images dans les instructions et jusqu’à 400 questions dans une seule demande. La vitesse et les chiffres de clientèle sont les propres affirmations d’OpenAI.

Qu’est-ce qu’il y a derrière : la plupart des vrais logiciels n’ont pas besoin d’une IA qui discute. Il nécessite un jugement rapide et peu coûteux des milliers de fois par jour : spam ou non, urgent ou non. Utiliser un modèle de chat complet pour cela, c’est comme embaucher un romancier pour cocher des cases. Un point de terminaison dédié qui renvoie des probabilités est plus facile à intégrer dans du code normal, car vous pouvez définir votre propre seuil, par exemple « n’agir que si au-dessus de 90 % ».

Ce que cela signifie pour vous : si vous n’écrivez pas de code, celui-ci est généralement invisible ; vous remarquerez peut-être que les applications deviennent plus vives. Si vous créez des outils ou des automatisations, cela vaut la peine de tester le tri, le routage et les contrôles de qualité, une personne examinant toujours les cas où le modèle est incertain. Les chiffres de confiance sont utiles, mais ne constituent pas une garantie.

Sources

• OpenAI : créez des applications plus réactives avec le Decisions API