Uber condamné à une amende de 825 millions d'euros pour avoir laissé un logiciel décider

L’autorité néerlandaise de protection des données a infligé à Uber une amende de 825 millions d’euros, soit environ 966 millions de dollars, pour la façon dont elle a suspendu et désactivé les comptes des conducteurs entre 2018 et 2022. Le régulateur a constaté qu’Uber utilisait un logiciel pour signaler les conducteurs soupçonnés de fraude ou de notes constamment faibles et avait agi en conséquence sans examen humain adéquat et sans informer correctement les conducteurs de ce qui se passait. Il s’agit de la deuxième plus grande sanction jamais infligée en vertu de la loi européenne sur la protection de la vie privée, derrière l’amende de 1,2 milliard d’euros imposée par l’Irlande à Meta en 2023.

Le crochet juridique est une partie spécifique et souvent négligée du RGPD : l’article 22, qui stipule que vous avez le droit de ne pas être soumis à une décision basée uniquement sur un traitement automatisé lorsque cette décision vous affecte de manière significative. Perdre l’accès à l’application n’est pas un inconvénient mineur pour un conducteur, c’est la fin de ses revenus, ce qui est précisément le genre de conséquence pour laquelle la règle a été rédigée. La vice-présidente Monique Verdier l’a dit clairement : un ordinateur ne devrait pas prendre seul des décisions aux conséquences aussi importantes. Uber dit qu’il fera appel, qualifie l’amende de disproportionnée et conteste les conclusions, arguant que les désactivations permanentes ne sont pas effectuées sans examen humain et que sa procédure actuelle inclut des appels.

Que se passe-t-il réellement ici : notez que rien dans ce cas n’implique un grand modèle de langage ou tout ce que la plupart des gens appelleraient l’IA. Il s’agit de logiciels et de règles de notation, du genre de ceux qui fonctionnent discrètement au sein des entreprises depuis une décennie. C’est ce qui fait que cette décision mérite qu’on s’y intéresse maintenant : elle fixe le prix des décisions automatisées concernant les personnes au moment où les entreprises se précipitent pour confier des décisions bien plus conséquentes à des systèmes bien plus performants. L’autre détail que les régulateurs continuent de suivre est ce qui compte comme un examen humain. Avoir une personne quelque part dans le processus ne suffit pas si cette personne approuve une file de verdicts générés par une machine sans avoir le temps ni l’autorité nécessaire pour en annuler un. Attendez-vous à ce que la loi européenne sur l’IA, qui impose des obligations supplémentaires sur les utilisations à haut risque comme les décisions en matière d’emploi, soit lue parallèlement à des cas comme celui-ci plutôt qu’à leur place.

Ce que cela signifie pour vous : si une entreprise dans l’UE prend une décision à votre sujet qui a des conséquences réelles, un prêt refusé, un compte fermé, une demande d’emploi filtrée, vous pouvez demander si elle a été prise automatiquement, demander à un humain de l’examiner et de la contester. La plupart des gens ne le font jamais, en grande partie parce qu’ils ne savent pas que ce droit existe. Si vous dirigez une entreprise qui utilise tout type de notation ou de filtrage automatisé des clients, des entrepreneurs ou des candidats, les deux questions que soulève ce cas valent la peine d’être posées à votre propre configuration : une personne concernée peut-elle découvrir qu’une machine a décidé, et l’humain dans votre boucle est-il réellement capable de dire non ?

Sources

• Uber risque une amende de près d’un milliard de dollars pour suspensions automatisées des conducteurs (TechCrunch)
• La DPA néerlandaise inflige une amende de 825 millions d’euros à Uber pour désactivation automatisée de conducteurs (Digital Watch Observatory)
• Uber condamné à une amende de 825 millions d’euros pour désactivation automatisée des conducteurs (Implicator)