SGLang

SGLang es un marco de servicio. Descargar los pesos de un modelo le proporciona una gran cantidad de números; algo tiene que cargarlos en las GPU, manejar muchos usuarios a la vez, agrupar sus solicitudes de manera sensata y transmitir las respuestas. Ese es el trabajo que hace SGLang, y de ahí proviene gran parte de la velocidad práctica de un modelo autohospedado.

Se encuentra en la misma categoría que vLLM, y los lanzamientos de modelos de peso abierto incluyen cada vez más recetas para ambos desde el primer día, lo cual es un signo silencioso de madurez: el modelo no solo se publica, sino que se puede publicar en una forma que la gente realmente pueda ejecutar. Para cualquiera que se autohospede, la elección entre ellos generalmente se reduce a cuál maneja mejor la arquitectura y el hardware de su modelo particular.