omnimodal
Un modelo que maneja texto, imágenes, audio y video juntos en un solo sistema en lugar de pasar entre herramientas especializadas.
Multimodal normalmente significa que un modelo puede manejar más de un tipo de entrada, a menudo texto más imágenes. Omnimodal es el paso de marketing más allá de eso: texto, imágenes, audio y video, todo tomado de forma nativa por un solo modelo en lugar de convertirse primero.
La diferencia no es pedante. El enfoque anterior era un relevo: una herramienta transcribe el habla, otra describe los fotogramas del vídeo y un modelo de lenguaje razona sobre esas descripciones. Cada transferencia pierde exactamente las cosas que tienen significado, como la vacilación en una voz o lo que estaba en la pantalla en el momento en que se pronunció una oración. Un modelo que recibe audio y video sin procesar mantiene ese material en reproducción, razón por la cual los laboratorios siguen enfatizando la palabra nativo.