SGLang
Open-Source-Software zur effizienten Bereitstellung großer Sprachmodelle, die üblicherweise zusammen mit vLLM als empfohlene Methode zum Ausführen von Open-Weight-Releases ausgeliefert wird.
SGLang ist ein Serving-Framework. Wenn Sie die Gewichte eines Modells herunterladen, erhalten Sie einen sehr großen Stapel an Zahlen. Etwas muss sie auf GPUs laden, viele Benutzer gleichzeitig verarbeiten, ihre Anfragen sinnvoll stapeln und Antworten zurückströmen. Das ist die Aufgabe von SGLang, und daraus resultiert ein Großteil der praktischen Geschwindigkeit eines selbstgehosteten Modells.
Es gehört zur gleichen Kategorie wie vLLM, und Open-Weight-Modellveröffentlichungen enthalten zunehmend Rezepte für beide am ersten Tag, was ein leises Zeichen der Reife ist: Das Modell wird nicht nur veröffentlicht, es kann in einer Form veröffentlicht werden, die Menschen tatsächlich ausführen können. Für jeden, der selbst hostet, kommt es bei der Wahl normalerweise darauf an, welches Modell am besten mit der Architektur und Hardware Ihres speziellen Modells zurechtkommt.