Lithos-Metal est un nouveau moteur ouvert pour exécuter rapidement l'IA sur le silicium Apple Macs

Un nouveau projet open source appelé lithos-metal vise à accélérer l’exécution de grands modèles de langage sur Macs. Il s’agit d’un moteur d’inférence, c’est-à-dire le programme qui exécute réellement un modèle entraîné et produit ses réponses, construit spécifiquement pour le silicium Apple et sous licence Apache 2.0. Un article Hacker News a mis en évidence un numéro de titre : le modèle Qwen3.8-27B à 168 tokens par seconde sur un M5 Max à 40 cœurs. Un token est un petit morceau de texte, environ les trois quarts d’un mot, ce qui correspondrait à une vitesse de lecture très rapide.

Lisez les petits caractères avant de vous enthousiasmer. La propre page du projet appelle 168 une “projection de calcul cible” pour un court contexte 128-token, sur une machine de 48 Go, en supposant six tokens acceptés par passe de vérification de huit lignes et en laissant de côté certains frais généraux tels que la rédaction et le rembobinage. Il ne s’agit pas d’une vitesse mesurée de bout en bout, et la page avertit que les étendues de synchronisation diffèrent entre les backends, il ne s’agit donc pas d’une comparaison à l’identique avec d’autres outils. Dans un contexte de 32 000 token, le chiffre projeté tombe à 127 tokens par seconde.

Les idées de vitesse sont intéressantes. Les “Megakernels” fusionnent de nombreuses petites étapes GPU en un seul programme plus grand par couche, réduisant ainsi le temps d’attente. Le contrôle de génération reste sur le GPU au lieu de rebondir sur le CPU. Et une méthode appelée DSpark utilise le décodage spéculatif : un petit modèle rapide devine plusieurs tokens à l’avance, et le grand modèle les vérifie tous en un seul passage, en conservant les bons. Lorsque les suppositions sont bonnes, vous obtenez plusieurs mots pour le prix d’un.

Où en est-il : le projet est jeune. Il nécessite un silicium Apple Mac sur macOS 26 ou version ultérieure et suffisamment de mémoire unifiée pour le modèle, le brouillon de modèle et le contexte. Des recettes mesurées existent principalement pour le M5 Max avec 40 cœurs GPU et le M5 Pro pour les modèles plus petits, tandis que d’autres puces ne sont pas mesurées et ne bénéficient d’aucune fusion automatique. Une seule génération s’exécute à la fois et certaines intégrations de modèles sont qualifiées d’expérimentales. Il propose également un serveur local compatible avec les interfaces de chat courantes et peut lancer des agents de codage.

Ce que cela signifie pour vous : si vous débutez avec l’IA locale, vous n’en avez pas besoin ; une application conviviale comme Ollama ou LM Studio est la voie la plus simple. Si vous possédez un Mac haut de gamme récent et que vous aimez bricoler, cela vaut la peine de le mettre dans vos favoris, mais attendez les tests de vitesse indépendants. La leçon d’aujourd’hui est une bonne habitude : lorsqu’un numéro de vitesse arrive sans “mesuré” à côté, demandez ce qu’il projette.

Sources

• lithos-métal sur GitHub