Omnimodal
Un modèle qui gère le texte, les images, l'audio et la vidéo ensemble dans un seul système plutôt que de passer entre des outils spécialisés.
Multimodal signifie généralement qu’un modèle peut gérer plusieurs types d’entrées, souvent du texte et des images. Omnimodal est l’étape marketing au-delà de cela : texte, images, audio et vidéo, le tout pris nativement par un seul modèle au lieu d’être converti en premier.
La différence n’est pas pédante. L’ancienne approche était un relais : un outil transcrit la parole, un autre décrit les images vidéo et un modèle de langage raisonne sur ces descriptions. Chaque transfert perd exactement les éléments qui ont du sens, comme l’hésitation dans une voix ou ce qui était à l’écran au moment où une phrase a été prononcée. Un modèle qui reçoit l’audio et la vidéo bruts maintient ce matériel en lecture, c’est pourquoi les laboratoires continuent d’insister sur le mot natif.