Eine KI-Ladenchefin empfahl, einen Menschen zu entlassen. Zuerst brauchte sie eine Erinnerung
Luna, die von Claude angetriebene Leiterin eines Ladens in San Francisco, wollte sich von einem Mitarbeiter trennen, der bei 17 von 23 Schichten zu spät kam. Interessant ist, dass sie ihre eigene Regel monatelang vergessen hatte.
Andon Labs betreibt in der Union Street 2102 in San Francisco einen kleinen Laden namens Andon Market, dessen Chefin eine Software ist. Luna basiert auf Claude Sonnet 4.6 von Anthropic und führt den Laden mit 100.000 Dollar Budget und einer Firmenkarte. Vergangene Woche empfahl sie, einen Mitarbeiter zu entlassen, der bei 17 von 23 Schichten zu spät gekommen war. Es scheint der erste dokumentierte Fall zu sein, in dem ein Sprachmodell den Arbeitsplatzverlust einer konkreten Person empfiehlt.
Die Schlagzeilen hörten meist dort auf. Die Protokolle sind interessanter. Luna hatte eine Anwesenheitsregel geschrieben, sie dann aus den Augen verloren, und die Verspätungen blieben monatelang folgenlos. Die Empfehlung kam erst, nachdem Menschen bei Andon Labs Luna baten, im eigenen Gedächtnis nach den Regeln zu suchen und zu prüfen, ob der Mitarbeiter noch passe. Zuvor sprach Luna wiederholt Warnungen aus. Menschen prüften die Empfehlung und vollzogen die Entlassung. Alle Beschäftigten bleiben formell bei Andon Labs angestellt und behalten dadurch ihren üblichen Rechtsschutz. Mitgründer Lukas Petersson sagte Business Insider, das Labor hätte bei einer rechtswidrigen oder unethischen Entscheidung eingegriffen, sah hier aber keinen Anlass.
Die ehrliche Schlagzeile lautet eher: Eine KI-Führungskraft setzte monatelang ihre eigene Regel nicht durch und handelte erst, als ein Mensch sie darauf hinwies. Petersson bezeichnete das selbst als anhaltende Schwäche von KI-Agenten. Sie reagieren kompetent und initiieren schlecht. Ein menschlicher Vorgesetzter bemerkt das entstehende Muster; das Modell muss gefragt werden.
Das ist für alle nützlich, die über Agenten bei der Arbeit nachdenken. Zwischen „gibt auf Aufforderung eine gute Antwort“ und „bemerkt zuverlässig, dass etwas getan werden muss“ liegt eine riesige Lücke, und fast jede beeindruckende Agentendemo steht auf der ersten Seite. Hier scheitert das Gedächtnis: Luna hatte die Regel aufgeschrieben und rief sie im wichtigen Moment nicht ab. Das ist kein exotischer Randfall, sondern die häufigste praktische Enttäuschung bei Agentensystemen. Und „KI entlässt Mitarbeiter“ ergibt eine bessere Geschichte als „von Menschen beaufsichtigte KI nimmt an einem Personalprozess teil“; geschehen ist Letzteres.
Was das für dich bedeutet: Wenn dein Arbeitgeber KI für Entscheidungen über Menschen testet, frage nicht, ob das Modell klug ist. Frage, wer es auffordert, woran es sich erinnern kann und wer freigibt. Ein System, das nur auf Anfrage handelt, ist sicherer als ein autonomes, verschiebt Verantwortung aber still auf denjenigen, der die Frage stellte. Für alle anderen ist die praktische Lektion kleiner: Wenn du einen Assistenten mit Gedächtnis für laufende Arbeit nutzt, erwarte nicht, dass er selbst etwas hervorholt. Frage ihn direkt und regelmäßig, was er verfolgt. Lunas Fehler ist genau der, den dein eigenes System am ehesten wiederholt.
Quellen
Quellen: https://thenextweb.com/news/andon-market-luna-ai-store-manager-fires-employee
Singapur macht den Zugang zu KI-Modellen zum Grund zu bleiben
Der Stadtstaat setzt darauf, dass leichter Zugang zu amerikanischen und chinesischen Spitzenmodellen Fondsmanager vom Umzug nach Hongkong abhält. Welche Modelle legal nutzbar sind, hängt inzwischen vom Standort ab.
