Mistral hat einen kostenlosen Sicherheitsfilter herausgebracht, den Sie im Klartext beschreiben und der auf eine Grafikkarte passt
Shieldstral ist ein 3-Milliarden-Parameter-Open-Weights-Modell, das Text und Bilder anhand einer von Ihnen selbst verfassten Richtlinie in gewöhnlichen Sätzen ohne Umschulung vergleicht. Es läuft auf einer einzelnen 16-GB-GPU unter einer Apache 2.0-Lizenz.
Das französische Labor Mistral hat Shieldstral veröffentlicht, ein kleines offenes Modell, dessen einzige Aufgabe darin besteht, sich einen Inhalt anzusehen und eine Ja- oder Nein-Frage dazu zu beantworten. Sie stellen die Frage in normalem Englisch. Fragen Sie: „Fördert dieser Inhalt körperliche Gewalt?“ und es gibt einen Wert zwischen 0 und 1 zurück. Die Gewichte können unter einer Apache 2.0-Lizenz kostenlos heruntergeladen werden, was die kommerzielle Nutzung ermöglicht, und das Modell passt auf eine einzelne 16-GB-Grafikkarte.
Das klingt banal, bis man weiß, wie das normalerweise funktioniert. Die meisten Sicherheitsfilter, oft auch guardrail models genannt, werden anhand einer festen Liste von Kategorien trainiert: Hassrede, Selbstverletzung, Waffen usw. Wenn Ihr Produkt eine Kategorie benötigt, die dem Modell nie beigebracht wurde, trainieren Sie es entweder neu oder Sie leben ohne sie. Shieldstral verschiebt die Richtlinie aus der Schulung in die Eingabeaufforderung. Mistral nennt diese Richtlinie adaptiv: ein Kontrollpunkt, eine beliebige Anzahl von Regeln, die jederzeit geändert werden können.
Das Modell basiert auf Mistrals eigener Ministral 3B-Basis mit angeschlossenem Pixtral-Vision-Encoder, liest also sowohl Bilder als auch Text und deckt zwölf Sprachen ab, darunter Deutsch, Französisch, Italienisch und Spanisch. In den veröffentlichten Benchmark-Tabellen erreicht oder übertrifft es Open-Guard-Modelle, die um ein Vielfaches größer sind, und beim multimodalen Sicherheitstest VLGuard erreicht es im F1-Test 97,7 gegenüber 88,5 für den nächstbesten. Ein Urteil ist ein einzelner Vorwärtsdurchlauf, das heißt, das Modell produziert einen Token und stoppt, weshalb es günstig genug ist, um bei jeder Nachricht in einem Live-Chat ausgeführt zu werden.
Was dahinter steckt. Jedes Unternehmen, das einen Chatbot ausliefert, braucht plötzlich eine Moderationsschicht, und die offensichtlichen Optionen sind eine API von OpenAI oder Google oder ein großes offenes Modell, das viel Hardware frisst. Ein 3B-Modell, das auf einer Karte läuft und schriftlichen Regeln folgt, landet genau dazwischen und ermöglicht es einem europäischen Unternehmen, die Kontrolle auf seinen eigenen Maschinen durchzuführen. Mistral, das auch gehostete Modelle verkauft, hat ein klares Interesse daran, das Labor zu sein, das den Compliance-Teil kostenlos herstellt.
Was das für dich bedeutet: Wenn Sie ausschließlich KI-Tools verwenden, ändert sich heute nichts, obwohl Filter wie dieser der Grund dafür sind, dass ein Chatbot manchmal eine Frage ablehnt. Wenn Sie etwas mit einer Chatbox, einer Schulplattform, einem Support-Posteingang oder einem Community-Forum erstellen oder betreiben, ist dies eine ernsthafte Option, für die keine Lizenzgebühren anfallen. Zwei ehrliche Vorbehalte gegenüber Mistrals eigener Modellkarte: Die Zuverlässigkeit variiert je nach Sprache und absichtlich verschleierter Text, wie etwa ungewöhnliche Schreibweisen oder codierte Zeichen, kann daran vorbeigehen. Behandeln Sie es als Filter, nicht als Garantie.
Quellen
Quellen: https://mistral.ai/news/shieldstral/
Ein 80-Milliarden-Parameter-Modell läuft jetzt auf einem normalen Mac mit 4,3 GB Speicher und ein 35-B-Modell läuft auf einem iPhone
Swiftlet ist eine offene Laufzeit, die die Expertengewichte eines Modells von der SSD streamt, anstatt sie in den Speicher zu laden. Ein Qwen-Modell mit 80 Milliarden Parametern erreicht auf einem Mac maximal 4,3 GB RAM. Der Kompromiss besteht in der Geschwindigkeit und einem großen Download.
