Swiftlet
Un runtime open source che esegue modelli molto grandi con una combinazione di esperti su Mac e iPhone trasmettendo in streaming la maggior parte del modello dall'SSD.
Swiftlet è un software gratuito con licenza Apache 2.0 per l’hardware Apple, pubblicato nell’agosto 2026. Normalmente un modello deve adattarsi alla memoria per essere eseguito. Swiftlet mantiene in memoria solo il nucleo permanentemente attivo di un modello misto di esperti e recupera le singole sottoreti di esperti dall’SSD esattamente quando una parola ne ha bisogno.
Il risultato è che un modello Qwen da 80 miliardi di parametri occupa 42 GB di spazio su disco ma raggiunge un picco di circa 4,3 GB di RAM su un Mac, e uno da 35 miliardi di parametri funziona su un iPhone. Il compromesso è la velocità, e l’onesto avvertimento del suo autore è che i modelli usati in questo modo scrivono come modelli grandi ma ricordano fatti come quelli piccoli.