Cuando los agentes se pusieron conversadores, los márgenes de esta startup bajaron a menos 50 por ciento
Bloomberg informa que la firma legal de inteligencia artificial Harvey observó cómo los márgenes brutos caían de alrededor del 50 por ciento a menos 50 en junio a medida que el uso de tokens se multiplicaba por veinte. Se recuperó construyendo un modelo interno en el Kimi K3 abierto de Moonshot.
Harvey vende herramientas de inteligencia artificial a bufetes de abogados y está valorado en unos 15.600 millones de dólares. Según Bloomberg, su margen bruto pasó de aproximadamente el 50 por ciento a principios de año a menos 50 por ciento en junio, lo que significa que cada dólar de ingresos cuesta alrededor de un dólar cincuenta para servir. El detonante fue una actualización de marzo que convirtió su producto en agentes, un software que realiza una tarea en muchos pasos en lugar de responder una pregunta. El uso de tokens se multiplicó por veinte. Debido a que OpenAI y Anthropic cobran por token, y Harvey cobra a sus clientes una suscripción fija, todo ese aumento recayó en Harvey.
La solución fue dejar de alquilar el motor. En agosto, Harvey lanzó su propio modelo interno, post-entrenado en Kimi K3, el modelo de peso abierto del laboratorio chino Moonshot AI. La capacitación posterior significa tomar el modelo terminado de otra persona y continuar entrenándolo con sus propios datos y tareas, lo cual solo es posible cuando los pesos se pueden descargar. Los márgenes volvieron a ser positivos. Bloomberg menciona que Abridge en atención médica, Decagon en atención al cliente y Ramp en finanzas están realizando movimientos similares, con el respaldo de Sequoia Capital y General Catalyst.
¿Qué hay detrás de esto?
Se trata de la colisión de dos modelos de negocio que nunca fueron diseñados para encontrarse. Las empresas de software siempre han vendido puestos: un precio fijo por usuario al mes, con costos que apenas varían cuando ese usuario trabaja más duro. Los agentes de IA rompen eso, porque un agente diligente que verifica su trabajo es un agente que gasta más de su dinero, y cuanto mejor es su producto, peor se ve su economía unitaria. Se trata de una forma inusual y bastante brutal para una empresa.
Hay tres salidas y todo el mundo está probando alguna combinación de ellas. Cobrar a los clientes por uso, que odian y que hace que los presupuestos sean impredecibles. Esperar a que los precios bajen, lo cual sucede, aunque hasta ahora la demanda ha aumentado más rápido. O mueva la carga de trabajo a un modelo que usted controle. La tercera opción sólo se volvió realista porque los modelos de peso abierto de los laboratorios chinos mejoraron este año, razón por la cual una startup legal de Nueva York termina basándose en un modelo de Beijing. Vale la pena ser preciso con la advertencia: ejecutar su propio modelo no es gratis, intercambia una factura por token por personal de ingeniería, hardware y el riesgo de quedarse atrás de la frontera.
Qué significa esto para usted: Si compra software de inteligencia artificial, pregunte cómo paga su proveedor por la inferencia, porque un proveedor que pierde dinero con cada usuario intensivo eventualmente aumentará los precios, acelerará el uso o lo encaminará silenciosamente hacia un modelo más barato. Esté atento a los límites de uso que aparecen en los planes que ya tiene. Y si está creando algo sobre un modelo pago, mida el uso de tokens por tarea completada desde el principio, no después del lanzamiento. La señal interesante para todos los demás es que “los pesos abiertos son para aficionados” ya no es cierto. Ahora es una decisión de margen tomada por empresas valoradas en miles de millones.
Fuentes
El nuevo modelo de Alibaba mira y escucha, y no cobra casi nada por ello
Qwen3.8-Omni-Flash maneja texto, imágenes, audio y video en un modelo con un contexto de un millón de tokens. Alibaba informa que los costos de ingesta de audio por hora cayeron más del 98 por ciento. Sin pesos abiertos en el lanzamiento.
