Microsoft présente MAI-Base-2, un modèle de 2,8 billions de paramètres qu'il ne publiera pas en open-weight
Le MAI-Base-2 de Microsoft est un modèle de base à paramètres 2,8T formé sur 50T tokens qui, selon Microsoft, apprend beaucoup plus efficacement que celui de DeepSeek. Il est encore en formation et ira uniquement à des partenaires de confiance.
Microsoft AI a décrit MAI-Base-2, un très grand « modèle de base » avec 2 800 milliards de paramètres au total et 80 milliards actifs à la fois. Un modèle de base est la première étape brute d’une IA : elle a lu une énorme quantité de texte et appris des modèles, mais n’a pas encore appris à discuter poliment ou à suivre des instructions. Cette deuxième étape, baptisée post-training, est toujours en cours.
Les détails
Microsoft indique que MAI-Base-2 a été formé sur 50 000 milliards de tokens, de petits morceaux de texte qui servent d’unité de lecture à l’IA. Son pool de données uniques a augmenté d’environ 36 % par rapport à la version précédente, et 18 % du mélange était constitué d’images. L’affirmation principale est l’efficacité : Microsoft affirme qu’il est 4 à 12 fois plus efficace dans le calcul du pre-training que DeepSeek-V4-Pro-Base, et qu’il bat tous les modèle open-weight testés par l’équipe lors de ses propres examens.
Les petits caractères sont importants. Les chiffres d’efficacité proviennent de formules de mise à l’échelle ajustées, et non de la formation de deux modèles côte à côte. Plusieurs modèles concurrents n’étaient déjà disponibles que sous la forme post-trained, ce qui peut fausser les comparaisons. Les tests de code ont utilisé la base de code interne de Microsoft. Et les performances finales peuvent changer avant la sortie.
Qu’est-ce qu’il y a derrière ça
Pendant des années, Microsoft s’est appuyé sur les modèles OpenAI. Construire son propre modèle de base est une tentative d’indépendance, et l’efficacité est un argument de vente : si vous avez besoin d’une fraction de la puissance de calcul pour atteindre la même qualité, vos coûts et vos factures d’énergie diminuent. Microsoft prévoit de concéder sous licence les poids à des partenaires de confiance via sa plate-forme Foundry, sans date, donc contrairement aux versions Meta et Nvidia de cette semaine, ils ne seront pas librement téléchargeables.
Ce que cela signifie pour vous : Rien que vous puissiez utiliser aujourd’hui. C’est un signal qui mérite d’être suivi pour voir comment la course à l’IA passe de « qui a le plus gros modèle » à « qui s’entraîne le plus intelligemment ». Attendez les résultats du post-training et les tests indépendants avant de tirer des conclusions.
Sources
Sources: https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/
Le Muse Spark Open de Meta est un énorme modèle open-weight construit pour deux Mac Studios
Meta a publié Muse Spark Open, un modèle open-weight de 816 milliards de paramètres avec une fenêtre d'un million de token, et indique qu'il fonctionne sur deux Apple M5 Ultra Mac Studios. Benchmarks et le rapport de sécurité complet sont toujours manquants.
