SGLang
Software open source per servire in modo efficiente modelli linguistici di grandi dimensioni, comunemente fornito insieme a vLLM come metodo consigliato per eseguire versioni open-weight.
SGLang è un framework di servizio. Scaricare i pesi di un modello ti dà una grande quantità di numeri; qualcosa deve caricarli sulle GPU, gestire molti utenti contemporaneamente, raggruppare le loro richieste in modo sensato e trasmettere in streaming le risposte. Questo è il lavoro svolto da SGLang, ed è da qui che deriva gran parte della velocità pratica di un modello self-hosted.
Si trova nella stessa categoria di vLLM e i rilasci di modelli open-weight forniscono sempre più ricette per entrambi fin dal primo giorno, il che è un discreto segno di maturità: il modello non è solo pubblicato, è pubblicabile in una forma che le persone possono effettivamente eseguire. Per chiunque si occupi di self-hosting, la scelta tra loro di solito dipende da quale gestisce meglio l’architettura e l’hardware del modello particolare.