ElevenLabs lanza Eleven Realtime, modelos de voz que responden en aproximadamente medio segundo

ElevenLabs ha lanzado dos nuevos modelos de voz llamados Eleven Realtime, creados para conversaciones de IA que se sienten como una llamada telefónica real. Según The Decoder del 20 de octubre, existen dos versiones. v1 Max está dirigido a trabajos más duros, como atención al cliente, y obtiene una puntuación del 98,8 % en la prueba Big Bench Audio con un tiempo de respuesta de 0,57 segundos. v1 Mini está diseñado para una conversación diaria natural a un costo menor. ElevenLabs dice que puede saber cuándo un orador realmente ha terminado, en lugar de simplemente decir “mm-hmm” para demostrar que está escuchando.

Estos son modelos “speech-to-speech”. Los asistentes de voz más antiguos encadenan tres pasos: convertir su discurso en texto, dejar que un chatbot piense en el texto y luego convertir la respuesta nuevamente en discurso. Cada paso añade retraso. Un modelo de voz a voz trabaja con el sonido de manera más directa, lo cual es una forma de eliminar las pausas incómodas y captar mejor el tono y el ritmo. El gráfico de The Decoder coloca al Max cerca de la parte superior izquierda, lo que significa alta precisión y bajo retraso, y ElevenLabs afirma que ningún modelo en la tabla de clasificación Artificial Analysis es más rápido y más preciso. Ambos modelos están disponibles a través de la plataforma ElevenAgents y un Realtime API compatible con OpenAI. Otro informe añade soporte para más de 90 idiomas.

Trate las reclamaciones con cierto cuidado. Las cifras de velocidad y precisión provienen de ElevenLabs, y el artículo Decoder no proporciona resultados para Mini, ni una lista de idiomas ni limitaciones detalladas. El precio es por minuto más los costos de token, y el Max cuesta más que el Mini, pero las tarifas específicas solo se encuentran en la página de precios de la compañía.

Qué hay detrás de esto: un “benchmark” es una prueba estándar que se utiliza para comparar modelos, y Big Bench Audio comprueba qué tan bien un modelo maneja las preguntas habladas. Una puntuación alta es una buena señal, pero no es lo mismo que manejar una cola ruidosa, un acento fuerte o un cliente enojado. El tiempo de respuesta es importante porque los humanos somos sensibles a las pausas en la conversación. Alrededor de medio segundo parece natural; Dos segundos se sienten rotos. Es por eso que tantas empresas, incluida Mistral esta semana con Voxtral 3, están compitiendo para hacer que los agentes de voz sean más rápidos y económicos.

Qué significa esto para ti: si usas asistentes de voz ocasionalmente, espera que suenen mejor en los próximos meses. Si crea herramientas de reserva o atención al cliente, esta es otra opción para probar junto con Mistral y otras. Pruébelo con sus propias grabaciones y los acentos de sus clientes reales antes de decidirse, y lea la página de precios, porque los costos por minuto se acumulan rápidamente a gran escala.

Fuentes

• The Decoder: ElevenLabs lanza dos nuevos modelos de voz a voz para conversaciones de IA en tiempo real
• The Neuron: Todo lo que pasó en IA hoy 21 de octubre