Mélange d’experts
Une conception de modèle dans laquelle seule une petite partie du réseau s'exécute pour chaque requête, ce qui permet de conserver les grands modèles peu coûteux à utiliser.
Dans un modèle mixte d’experts, le réseau est divisé en plusieurs sous-réseaux et un routeur n’en sélectionne que quelques-uns pour une entrée donnée. C’est pourquoi ces modèles sont cités avec deux chiffres, par exemple 284 milliards de paramètres totaux et 13 milliards actifs : le premier est la taille du modèle, le second est la quantité qu’il exécute réellement à chaque fois.
L’effet pratique est que vous obtenez la connaissance d’un très grand modèle à un coût plus proche du coût de fonctionnement d’un petit. Presque tous les modèles ouverts récents, de DeepSeek à Inkling de Thinking Machines, sont construits de cette façon. Auparavant, le compromis était la mémoire, car vous deviez toujours charger le tout même si vous n’en utilisiez qu’une partie. Les environnements d’exécution tels que Swiftlet réduisent désormais ce problème en diffusant à la demande les experts inutilisés à partir du disque.
-
Mistral publie Large 4 « Le Chonk » en open weights, fort en code mais globalement derrière la Chine
-
Flint : un modèle de codage ouvert de 40 B qu'un système d'IA a aidé à créer en quatre mois
-
Reflection's Beam : un modèle de codage open-weight fabriqué aux États-Unis que vous pouvez essayer gratuitement sur Ollama
-
Le Muse Spark Open de Meta est un énorme modèle open-weight construit pour deux Mac Studios
-
Nvidia ouvre Nemotron 3.5 Super VL et un modèle de codage local qui tient dans 24 Go
-
Rattrapage : cinq histoires d'IA que vous avez peut-être manquées depuis fin septembre
-
Le GLM-5.3-Flash de Z.ai se rapproche d'Opus à un dixième du prix
-
Le nouveau modèle gratuit de Nvidia n'est pas le plus intelligent. C'est juste très, très rapide
-
Un modèle de 80 milliards de paramètres fonctionne désormais sur un Mac normal avec 4,3 Go de mémoire, et un modèle de 35 milliards sur un iPhone
-
AMD entraîne un modèle entièrement ouvert sur ses propres puces, mais réserve les poids à la recherche
-
Le laboratoire de Mira Murati réduit son modèle aux trois dixièmes de sa taille et ne perd qu’un point
-
Les poids de Kimi K3 sont enfin publics, et ils occupent 1,4 téraoctet
-
Ollama améliore discrètement l’exécution des modèles ouverts sur Mac
-
DeepSeek V4 devient pleinement stable, les anciens modèles s’arrêtent aujourd’hui
-
Ein kleines offenes Coding-Modell schlägt zehnmal größere Konkurrenten, und du kannst es selbst ausführen
-
Le nouveau laboratoire de Mira Murati lance son premier modèle, conçu pour être personnalisé
-
Soofi S : l’Allemagne possède désormais un modèle d’IA ouvert en tête des classements open source