Uber verhängte eine Geldstrafe von 825 Millionen Euro, weil es Software die Entscheidung überlassen hatte

Die niederländische Datenschutzbehörde hat gegen Uber eine Geldstrafe in Höhe von 825 Millionen Euro (etwa 966 Millionen US-Dollar) verhängt, weil das Unternehmen zwischen 2018 und 2022 Fahrerkonten gesperrt und deaktiviert hatte. Die Aufsichtsbehörde stellte fest, dass Uber Software verwendet hat, um Fahrer wegen Betrugsverdachts oder anhaltend niedriger Bewertungen zu kennzeichnen, und auf diese Meldungen reagiert hat, ohne dass eine angemessene menschliche Überprüfung stattgefunden hätte, und ohne den Fahrern ordnungsgemäß mitzuteilen, was vor sich ging. Es handelt sich um die zweithöchste Strafe, die jemals im Rahmen des DSGVO-Datenschutzgesetzes der EU verhängt wurde, nach nur Irlands 1,2 Milliarden Euro Strafe gegen Meta im Jahr 2023.

Der rechtliche Haken ist ein spezifischer und oft übersehener Teil der DSGVO: Artikel 22, der besagt, dass Sie das Recht haben, nicht einer ausschließlich auf automatisierter Verarbeitung beruhenden Entscheidung unterworfen zu werden, wenn diese Entscheidung erhebliche Auswirkungen auf Sie hat. Der Verlust des Zugriffs auf die App stellt für einen Fahrer keine geringfügige Unannehmlichkeit dar, sondern bedeutet das Ende seines Einkommens, und genau für diese Konsequenz wurde die Regel geschrieben. Die stellvertretende Vorsitzende Monique Verdier brachte es auf den Punkt: Ein Computer sollte keine Entscheidungen treffen, die so schwerwiegende Folgen haben. Uber kündigt an, Berufung einzulegen, bezeichnet die Geldbuße als unverhältnismäßig und bestreitet die Feststellung mit der Begründung, dass dauerhafte Deaktivierungen nicht ohne menschliche Überprüfung vorgenommen werden und dass das derzeitige Verfahren Berufungen einschließt.

Was hier eigentlich vor sich geht: Beachten Sie, dass es sich in diesem Fall nicht um ein großes Sprachmodell oder irgendetwas handelt, was die meisten Leute als KI bezeichnen würden. Dabei handelt es sich um Scoring-Software und -Regeln, wie sie seit einem Jahrzehnt stillschweigend in Unternehmen laufen. Deshalb lohnt es sich, dem Urteil jetzt Beachtung zu schenken: Es setzt den Preis für automatisierte Entscheidungen über Menschen in einer Zeit fest, in der Unternehmen sich beeilen, weitaus folgenreichere Entscheidungen weitaus leistungsfähigeren Systemen zu überlassen. Das andere Detail, das die Regulierungsbehörden ständig im Umlauf halten, ist die Frage, was als menschliche Überprüfung gilt. Es reicht nicht aus, irgendwo im Prozess eine Person zu haben, wenn diese Person eine Reihe maschinell erstellter Urteile absegnet, ohne die Zeit oder die Befugnis zu haben, ein Urteil aufzuheben. Erwarten Sie, dass das EU-KI-Gesetz, das zusätzliche Verpflichtungen für risikoreiche Verwendungen wie Beschäftigungsentscheidungen vorsieht, neben Fällen wie diesem und nicht an ihrer Stelle gelesen wird.

Was das für Sie bedeutet: Wenn ein Unternehmen in der EU eine Entscheidung über Sie trifft, die reale Konsequenzen hat, einen abgelehnten Kredit, ein geschlossenes Konto, eine gefilterte Bewerbung, können Sie fragen, ob die Entscheidung automatisch getroffen wurde, einen Menschen bitten, sich die Entscheidung anzusehen, und dagegen anfechten. Die meisten Menschen tun dies nie, vor allem weil die meisten Menschen nicht wissen, dass das Recht besteht. Wenn Sie ein Unternehmen leiten, das irgendeine Art von Bewertung oder automatisierter Filterung für Kunden, Auftragnehmer oder Bewerber verwendet, sollten Sie die beiden Fragen, die dieser Fall aufwirft, an Ihr eigenes Unternehmen stellen: Kann ein Patient herausfinden, dass eine Maschine entschieden hat, und ist der Mensch in Ihrem Kreislauf tatsächlich in der Lage, Nein zu sagen?

Quellen

• Uber muss mit einer Geldstrafe von fast 1 Milliarde US-Dollar wegen automatischer Fahrersperren rechnen (TechCrunch)
• Niederländische Datenschutzbehörde verhängt gegen Uber eine Geldstrafe von 825 Millionen Euro wegen automatischer Fahrerdeaktivierungen (Digital Watch Observatory)
• Uber verhängte eine Geldstrafe von 825 Millionen Euro wegen automatischer Fahrerdeaktivierungen (Implikator)