Ein offenes deutsches Modell hatte Testantworten in den Trainingsdaten, und dank Offenheit wissen wir es
Das Konsortium hinter Soofi S räumte ein, dass Fragen aus dem Wissenschaftsbenchmark GPQA in den Trainingssatz gelangten. Die Community entdeckte es, weil die Daten öffentlich waren. Das Team entfernte den Benchmark und berechnete alles neu.
Soofi S ist ein offenes Sprachmodell mit 30 Milliarden Parametern, gebaut von einem deutschen Forschungskonsortium und auf der Telekom-Cloud in München trainiert. Beim Start Mitte Juli beanspruchte es unter vollständig offenen Modellen den Spitzenplatz in deutschen und englischen Tests. In Version 3.0 des technischen Berichts hat das Team nun eingeräumt, dass einige Tests kompromittiert waren: Fragen aus GPQA, einem Wissenschaftsbenchmark, landeten in den Trainingsdaten.
Die Ursache ist fast langweilig alltäglich, und gerade deshalb lehrreich. Auf Hugging Face besitzt GPQA keinen separaten Trainingssplit. Das gesamte Testmaterial liegt unter der Standardbezeichnung „train“. Die Datenpipeline des Konsortiums wählte Material anhand des Split-Namens aus. Als sie vermeintliche Übungsfragen einlas, nahm sie die Prüfung mit. Der betroffene Datensatz sollte nur umformulierte Trainingssplits aus 25 Standardbenchmarks enthalten.
Warum zählt das? Ein Benchmark ist nur nützlich, wenn das Modell die Antworten nicht kennt. Gelangen Testfragen ins Training, kann es durch Erinnern statt Schlussfolgern punkten, und die Zahl misst keine Fähigkeit mehr. Forscher nennen das Kontamination. Sie ist ein stiller Grund, Ranglisten generell zu misstrauen. Meist bleibt sie unentdeckt, weil die Trainingsdaten der meisten Modelle außerhalb des Labors niemand einsehen kann.
Das ist der bedenkenswerte Teil. Niemand im Konsortium bemerkte den Fehler. Die Community fand ihn beim Lesen der veröffentlichten Trainingsdaten, die nur wegen des Offenheitsversprechens öffentlich sind. Soofi S liefert Modellgewichte, Zwischenstände, Trainings- und Evaluierungscode sowie ein detailliertes Verzeichnis aller Datenquellen einschließlich geprüfter und verworfener. Die Reaktion war, GPQA vollständig aus der Bewertung zu entfernen und die Ergebnisse aller 16 verglichenen Modelle neu zu berechnen, damit der Vergleich fair bleibt. Laut Autoren änderte sich die Rangfolge nicht.
Ein fairer Vorbehalt in beide Richtungen. Der Fehler ist peinlich und bedeutet, dass die ursprünglichen Startzahlen falsch waren. Zugleich zeigt er, dass der offene Ansatz sein Versprechen erfüllt: Fehler kommen ans Licht, werden benannt und öffentlich korrigiert. Ein geschlossenes Modell mit demselben Problem würde den Wert einfach behalten. Derselbe Bericht hat bereits eine öffentliche Debatte erlebt, als Kritiker auf ungewöhnlich viele Trainingsdaten hinwiesen und das Team mit seiner Begründung statt mit Schweigen antwortete.
Was das für dich bedeutet: Zwei praktische Lehren. Erstens ist ein Spitzenplatz in einer Rangliste eine Behauptung, keine Messung, solange niemand die Trainingsdaten prüfen kann. Zweitens ist Offenheit nicht nur eine ideologische Vorliebe, wenn dir Überprüfbarkeit wichtig ist. Sie ist der Mechanismus, der diese Korrektur hervorgebracht hat. Im Alltag ändert sich nichts: Soofi S bleibt ein leistungsfähiges, deutsch ausgerichtetes offenes Modell, und seine Platzierung überstand die Neuberechnung.
Quellen
Quellen: https://huggingface.co/spaces/Soofi-Project/Pretraining-Tech-Report
Verteidiger nutzen Prompt Injection jetzt als Falle für KI-Angreifer
Tracebit versteckte kurze Zeichenfolgen in falschen Cloud-Ressourcen, die die Sicherheitsregeln eines angreifenden KI-Modells auslösen. In Tests hinderte eine einzige Zeichenfolge Claude Opus 4.8 jedes Mal am Administratorzugriff.
