SGLang

SGLang est un framework de service. Le téléchargement des poids d’un modèle vous donne une très grande quantité de chiffres ; quelque chose doit les charger sur des GPU, gérer plusieurs utilisateurs à la fois, regrouper judicieusement leurs demandes et diffuser les réponses. C’est le travail que fait SGLang, et c’est de là que vient une grande partie de la vitesse pratique d’un modèle auto-hébergé.

Il se situe dans la même catégorie que vLLM, et les modèles à poids ouvert publient de plus en plus de recettes pour les deux dès le premier jour, ce qui est un signe discret de maturité : le modèle n’est pas seulement publié, il est publiable sous une forme que les gens peuvent réellement exécuter. Pour toute personne auto-hébergée, le choix entre eux se résume généralement à celui qui gère le mieux l’architecture et le matériel de votre modèle particulier.