Eine KI liest und überschreibt die Gewichte einer anderen KI, bei uneinheitlicher Beweislage
MIT CSAIL-Forscher ließen GPT-6 Astra die Gewichte neuronaler Netzwerke direkt bearbeiten. Die ersten Ergebnisse sind beeindruckend, und ein Kritiker argumentiert, dass ein erfahrener Forscher dasselbe tun könnte.
Ein Blogbeitrag von MIT CSAIL-Forschern (Takehi, Teoh, Zhang und Khattab) ging gestern an die Spitze von Hacker News. Sie lassen einen Frontier model, GPT-6 Astra die Gewichte anderer neuronaler Netze direkt lesen und schreiben. Gewichte sind die Zahlen innerhalb eines Modells, die das Gelernte enthalten. Normalerweise werden sie durch Training durch Gradientenabstieg (eine schrittweise Anpassungsmethode) geändert. Hier wurde kein Optimierer verwendet. Die Autoren bezeichnen dies als „sehr frühe Ergebnisse“.
Lektüre: Allein anhand der Gewichte ermittelte Astra, für welches der vier Spiele ein Netzwerk mit 17.253 Gewichten trainiert wurde. In kleinen Sprachmodellen benannte es die Trainingssprache und fand die „kopierenden“ Teile. Bearbeitung: Eine Änderung, die 3,5 % eines winzigen Netzwerks berührte, führte dazu, dass ein simuliertes Auto alle 1.024 Testepisoden bestand, wobei die trainierte Version 256 von 256 durchfiel. Im kleinen Sprachmodell Qwen3.5-0.8B bearbeitete Astra 131.072 Gewichtungen (0,016 %), um Argumentationsschleifen zu unterdrücken, wodurch MATH-500 von 7,9 % auf 48,1 % und IFEval von 21,0 % auf 62,3 % mit 50 Testdurchgängen. Von Grund auf neu schreiben: Netzwerke, die ohne Trainings-Beat geschrieben wurden, oder bei einigen Spielen nahezu trainierte.
Es gibt Grenzen. Astra konnte das kriecherische Modell allein anhand der Gewichte nicht finden, und ein Modell, dem die zugrunde liegende Fähigkeit fehlte (Gemma 3 270M), konnte nicht verbessert werden. Die Ergebnisse hängen vom Setup ab, einschließlich der Werkzeuge und der Anzahl der Testdurchläufe.
Was dahinter steckt: Stellen Sie sich das so vor, als würde ein Experte eine Maschine öffnen und Teile von Hand einstellen, anstatt die Fabrik neu zu schulen. Der Entwickler Sean Goedecke argumentiert, dass die Behauptung übertrieben sei: Ein erfahrener Forscher mit Python könnte die gleichen Heatmaps berechnen oder Standardsteuerungsmethoden verwenden, und er nennt die Leistung von Astra „übermenschliche mentale Mathematik“, nicht übermenschliche Forschung. Beide Lesarten können wahr sein: Es ist ein nützlicher Trick und noch kein Zeichen für eine neue Art, KI aufzubauen. Die Autoren sagen, dass sie einen Benchmark bauen, um ihn richtig zu testen.
Was das für Sie bedeutet: An den von Ihnen verwendeten Tools ändert sich nichts. Für neugierige Leser zeigt es Forscher, die fragen, ob Modelle Modelle verstehen und beheben können, was eines Tages dabei helfen könnte, versteckte Fehler zu finden. Für Power-User ist es eine Erinnerung, die Einrichtung hinter einer auffälligen Zahl zu lesen, denn oft erklären Tools, Wiederholungsversuche und Zeitbudgets das Ergebnis.
Quellen
Quellen: https://rikiyat.github.io/blog/weight-space-programming/
Avartha gibt an, dass seine offene Sprach-KI mit 2,50 US-Dollar pro Stunde die Bestenliste anführt
Das Startup Avartha behauptet, dass sein Sprachagent Ava Zero, der ausschließlich aus offenen Modellen besteht, OpenAI, Google und xAI bei der Aufgabenerledigung übertrifft. Bei den Zahlen handelt es sich um firmeneigene Angaben.
