La Decisions API de OpenAI responde preguntas rápidas de sí/no por $0,10 por millón de tokens
El Decisions API generalmente disponible de OpenAI, basado en GPT-6 Luna, devuelve probabilidades para preguntas limitadas como clasificación o enrutamiento, y no factura los tokens de salida.
OpenAI ha puesto su Decisions API a disposición del público general. Es un punto final especial, construido sobre el modelo GPT-6 Luna, para preguntas donde la respuesta se limita a un conjunto fijo de opciones: ¿esta foto está dañada, qué equipo debe manejar este correo electrónico, cuál es el siguiente paso en este flujo de trabajo? En lugar de escribir un párrafo, devuelve un número.
Usted define la pregunta y las respuestas permitidas, luego proporciona el contexto como texto, imágenes o JSON. Hay tres tipos de respuesta. Un “predicado” da una probabilidad de 0 a 1 de que algo sea cierto. Una “elección” elige una de sus opciones e informa probabilidades y confianza. Una “puntuación” califica algo en comparación con niveles ordenados, como una rúbrica de calidad, como un promedio ponderado por probabilidad. OpenAI dice que es hasta 10 veces más rápido que usar GPT-6 Luna a través del Responses API normal. Los clientes citados incluyen Datadog, que informa una latencia p95 40 veces más rápida (la velocidad que supera el 95 por ciento de las solicitudes) y Speak, que redujo el tiempo hasta la siguiente acción de 1,4 segundos a 0,13.
El precio es notable: $0,10 por millón de tokens de entrada (los tokens son los pequeños fragmentos de palabras que lee un modelo), $0,01 por millón de tokens de entrada en caché y sin cargo por los tokens de salida. Dado que el resultado es sólo un resultado breve, eso tiene sentido. Las incorporaciones más recientes incluyen residencia de datos de EE. UU. y UE, Zero Data Retention para clientes elegibles, prompt caching, imágenes en instrucciones y hasta 400 preguntas en una sola solicitud. La velocidad y las cifras de clientes son afirmaciones del propio OpenAI.
Qué hay detrás de esto: la mayoría del software real no necesita una IA que chatee. Necesita un juicio rápido y económico miles de veces al día: spam o no, urgente o no. Usar un modelo de chat completo para eso es como contratar a un novelista para que marque casillas. Un punto final dedicado que devuelve probabilidades es más fácil de conectar al código normal, porque puede establecer su propio umbral, por ejemplo, “solo actuar si está por encima del 90 por ciento”.
Qué significa esto para ti: si no escribes código, esto es prácticamente invisible; es posible que notes que las aplicaciones se vuelven más ágiles. Si crea herramientas o automatizaciones, vale la pena realizar pruebas de clasificación, enrutamiento y controles de calidad, con una persona que aún revisa los casos en los que el modelo no está seguro. Los números de confianza son útiles, pero no una garantía.
Fuentes
Flint: un modelo de codificación abierta de 40 mil millones que un sistema de inteligencia artificial ayudó a construir en cuatro meses
El Flint de Recursive es un modelo de codificación Apache 2.0 open-weight que se ejecuta en computadoras portátiles y fue desarrollado en gran parte por el propio sistema de investigación de inteligencia artificial de la compañía, aunque las afirmaciones no están verificadas.
