Un modèle d’IA performant qui tient sur votre téléphone et fonctionne entièrement hors ligne
La jeune entreprise PrismML a compressé un modèle ouvert de 27 milliards de paramètres sous la barre des 4 Go afin qu’il fonctionne sur un iPhone, tout en conservant environ 90 % de ses capacités. Apple testerait cette technologie. Pourquoi l’IA embarquée devient discrètement un enjeu majeur.
La plupart des IA que vous utilisez aujourd’hui résident dans le cloud : vous saisissez du texte, vos mots voyagent jusqu’à un centre de données, puis la réponse revient jusqu’à vous. PrismML, une jeune entreprise fondée par un groupe de chercheurs de Caltech, vient de montrer une autre voie. Son nouveau modèle, Bonsai 27B, est une IA complète, elle peut raisonner sur des problèmes en plusieurs étapes, utiliser des outils et lire des images, qui fonctionne directement sur un iPhone, sans connexion à Internet. Les poids du modèle sont proposés sous licence ouverte Apache 2.0 : tout le monde peut donc les télécharger et les exécuter.
L’astuce réside dans la réduction de sa taille. Un modèle de cette envergure nécessiterait normalement environ 54 Go de stockage, ou près de 18 Go même après une compression classique. PrismML l’a ramené à environ 3,9 Go, assez peu pour tenir sur un iPhone 17 Pro Max. L’entreprise y parvient grâce à une « quantification » poussée, ce qui consiste simplement à stocker chacun des nombres internes du modèle avec beaucoup moins de précision, dans la version la plus extrême, chaque valeur est réduite à l’un de deux états seulement. Lors des propres tests de l’entreprise sur 15 bancs d’essai, la version adaptée au téléphone a conservé environ 90 % des capacités du modèle complet, tandis que ses compétences en mathématiques et en programmation sont restées « pratiquement intactes ». Sur un iPhone, elle produit environ 11 mots par seconde, et une batterie pleine permet de générer près de 67 000 mots avant de se vider.
Ce qui se joue : une réserve s’impose : ces chiffres viennent de PrismML. Des tests indépendants permettront donc de connaître la réalité, et la compression la plus forte a visiblement dégradé certaines capacités, notamment la lecture d’images et le suivi d’instructions minutieuses. Mais la direction prise est importante. Les « agents » d’IA modernes, des outils qui accomplissent seuls une tâche étape par étape, peuvent solliciter un modèle des centaines de fois pour une seule mission. Dans le cloud, chaque appel coûte de l’argent, ajoute un délai et envoie vos données, captures d’écran, documents, hors de votre appareil. Sur votre téléphone, ces boucles deviennent pratiquement gratuites et vos données restent avec vous. C’est ce qui rend la technologie particulièrement intéressante pour Apple : sa propre IA embarquée est restée derrière celles de ses concurrents, et CNBC rapporte que PrismML discute déjà avec Apple d’une licence pour sa technologie de compression, même si l’entreprise qualifie ces échanges de « très préliminaires ».
Ce que cela signifie pour vous : vous n’avez rien à installer aujourd’hui, sauf si vous aimez expérimenter, une démonstration gratuite et une version préliminaire pour développeurs sont disponibles. Mais c’est le signe le plus clair à ce jour que « l’IA privée et hors ligne sur votre propre téléphone » passe du loisir de niche à la réalité. Pour toute personne qui s’inquiète de la destination de ses requêtes et de ses documents, c’est une véritable bonne nouvelle. Attendez-vous à ce que les téléphones et ordinateurs portables que vous achèterez au cours des deux prochaines années s’appuient sur ce type d’IA embarquée pour les tâches courantes et réservent le cloud aux plus difficiles.
Sources
Sources: https://prismml.com/news/bonsai-27b
OpenAI a conçu une IA dont l’unique mission est d’attaquer ses autres IA
OpenAI a entraîné un modèle interne appelé GPT-Red pour traquer les failles de sécurité dans ses propres systèmes, et il les détecte bien plus souvent que les experts humains. Ce que signifie l’« injection de consignes » et pourquoi elle compte à l’heure où l’IA commence à agir en votre nom.
