SGLang
Logiciel open source permettant de gérer efficacement de grands modèles de langage, généralement fourni avec vLLM comme moyen recommandé d'exécuter des versions ouvertes.
SGLang est un framework de service. Le téléchargement des poids d’un modèle vous donne une très grande quantité de chiffres ; quelque chose doit les charger sur des GPU, gérer plusieurs utilisateurs à la fois, regrouper judicieusement leurs demandes et diffuser les réponses. C’est le travail que fait SGLang, et c’est de là que vient une grande partie de la vitesse pratique d’un modèle auto-hébergé.
Il se situe dans la même catégorie que vLLM, et les modèles à poids ouvert publient de plus en plus de recettes pour les deux dès le premier jour, ce qui est un signe discret de maturité : le modèle n’est pas seulement publié, il est publiable sous une forme que les gens peuvent réellement exécuter. Pour toute personne auto-hébergée, le choix entre eux se résume généralement à celui qui gère le mieux l’architecture et le matériel de votre modèle particulier.