DeepSeek bringt DeepInfer auf den Markt, die Engine, mit der es sein günstigstes Modell betreibt
DeepSeek hat die Serving-Software hinter V4.1-Flash unter Apache 2.0 als Open-Source-Lösung bereitgestellt. Es liegen noch keine Geschwindigkeitszahlen vor, aber es könnte die Kosten für den Eigenbetrieb des Modells senken.
DeepSeek hat DeepInfer veröffentlicht, die Software, mit der das Unternehmen seinen Kunden sein Modell V4.1-Flash anbietet. Laut The Decoder vom 20. Oktober wird der Code unter der Apache 2.0-Lizenz veröffentlicht, die eine kostenlose Nutzung, auch in kommerziellen Produkten, ermöglicht. Es basiert auf vLLM, einem beliebten Open-Source-Serving-Tool, und bietet schnellere Rechenroutinen, Möglichkeiten zur Verteilung der Arbeit auf viele Chips und schnellere Techniken zur Textgenerierung.
DeepSeek hat außerdem einen Begleiter namens deepseek-recipe veröffentlicht. Seine Aufgabe besteht darin, die Art und Weise zu reproduzieren, wie die offizielle API von DeepSeek Text verarbeitet, sodass sich ein Modell, das Sie selbst hosten, genauso verhält wie das, das Sie mieten würden. Das Unternehmen sagt, dass auch der Code für seine zukünftigen Modelle offengelegt wird. Das auf X veröffentlichte erklärte Ziel besteht darin, „der Community dabei zu helfen, die Rechenkosten zu senken, den Energieverbrauch zu senken und KI erschwinglicher zu machen“.
Hier ist der ehrliche Teil: Die Ankündigung kommt ohne Benchmark-Nummern, Beschleunigungen oder Kostenvergleiche. Die Idee, dass DeepInfer den Betrieb von V4.1-Flash kostengünstig macht, ist auf den Rahmen von DeepSeek zurückzuführen und nicht auf etwas, das in der von uns gefundenen Abdeckung gemessen wird. Die Ansicht von The Decoder, dass dies den Preisdruck auf westliche Anbieter erhöht und möglicherweise politisch motiviert ist, ist die Analyse des Autors und nicht etwas, was DeepSeek gesagt hat.
Was dahinter steckt: „Inferenz“ ist einfach die Verwendung eines trainierten Modells, im Gegensatz zu dessen Training. Jedes Mal, wenn Sie eine Nachricht senden, führt ein Server eine Schlussfolgerung durch. Die Ausbildung findet einmal statt und kostet ein Vermögen; Die Schlussfolgerung erfolgt milliardenfach, sodass sich die Kosteneinsparung bei jeder Anfrage summiert. Eine Serving Engine ist der Verkehrscontroller, der entscheidet, wie Anfragen gestapelt werden, welcher Chip welche Teile verarbeitet und wie schnell Wörter zurückkommen. Abhängig von dieser Software können zwei Unternehmen das gleiche Modell betreiben und sehr unterschiedliche Rechnungen bezahlen. Durch die Veröffentlichung seiner eigenen Version gibt DeepSeek allen anderen die optimierte Version weiter, die es für sich behält.
Das erklärt auch, warum sich ein Unternehmen, das für günstige Modelle bekannt ist, darum kümmert. Die Modellgewichte waren bereits offen; Die fehlende Zutat für Außenstehende war die effiziente Art und Weise, sie zu betreiben. DeepInfer schließt einen Teil dieser Lücke.
Was das für Sie bedeutet: Wenn Sie in einer App nur mit KI chatten, ändert sich nichts. Wenn Sie oder Ihr Unternehmen offene Modelle hosten, lohnt es sich, DeepInfer als Lesezeichen zu speichern. Warten Sie jedoch auf unabhängige Tests, bevor Sie etwas Wichtiges verschieben. Eine praktische Vorsichtsmaßnahme: Überprüfen Sie die Regeln Ihrer Organisation zur Verwendung von DeepSeek-Produkten, da einige Regierungen und Arbeitgeber diese einschränken und die Ausführung von Software aus beliebigen Quellen zunächst eine Sicherheitsüberprüfung verdient.
Quellen
Mercury 3 im Test: Ein Chatbot, der seine Antwort in Blöcken schreibt, nicht Wort für Wort
Der Mercury 3 von Inception ist ein Diffusionssprachenmodell, das zu niedrigen Preisen über 1.000 Tokens pro Sekunde beansprucht. Ein praktischer Test ergab, dass es schnell und günstig ist, aber auch seine Ecken und Kanten hat.
