Swiftlet
Un runtime open source qui exécute un très grand mélange de modèles experts sur Mac et iPhone en diffusant la plupart du modèle à partir du SSD.
Swiftlet est un logiciel gratuit sous licence Apache 2.0 pour le matériel Apple, publié en août 2026. Normalement, un modèle doit tenir dans votre mémoire pour pouvoir fonctionner. Swiftlet conserve uniquement le noyau actif en permanence d’un modèle de mélange d’experts en mémoire et récupère les sous-réseaux d’experts individuels du SSD exactement lorsqu’un mot en a besoin.
Le résultat est qu’un modèle Qwen à 80 milliards de paramètres prend 42 Go d’espace disque mais culmine à environ 4,3 Go de RAM sur un Mac, et un modèle à 35 milliards de paramètres s’exécute sur un iPhone. Le compromis est la rapidité, et la mise en garde honnête de son auteur est que les modèles utilisés de cette manière écrivent comme de grands modèles mais mémorisent des faits comme des petits.