Une responsable de magasin IA a recommandé de licencier un humain. Il a d'abord fallu la rappeler à l'ordre
Luna, responsable basée sur Claude d'une boutique de San Francisco, a suggéré de se séparer d'un employé en retard lors de 17 services sur 23. Le plus intéressant est qu'elle avait oublié sa propre règle pendant des mois.
Andon Labs exploite au 2102 Union Street à San Francisco une petite boutique, Andon Market, dont la responsable est un logiciel. Luna, basée sur Claude Sonnet 4.6 d’Anthropic, gère le magasin avec 100 000 dollars et une carte d’entreprise. La semaine dernière, elle a recommandé de licencier un employé arrivé en retard lors de 17 services sur 23, ce qui semble être le premier cas documenté où un modèle recommande qu’une personne précise perde son emploi.
Les titres s’arrêtaient souvent là. Les journaux sont plus intéressants. Luna avait écrit une règle de présence, puis l’avait perdue de vue, et les retards ont continué pendant des mois sans conséquence. La recommandation n’est venue qu’après que des humains lui ont demandé de rechercher ses propres règles et d’évaluer l’adéquation de l’employé. Luna avait d’abord adressé plusieurs avertissements. Des humains ont examiné la recommandation et exécuté le licenciement ; tous les travailleurs restent employés formellement par Andon Labs et conservent leurs protections juridiques. Le cofondateur Lukas Petersson affirme que le laboratoire serait intervenu face à une décision illégale ou contraire à l’éthique, mais n’en voyait pas la nécessité ici.
Le titre honnête serait donc : une responsable IA n’a pas appliqué sa propre règle pendant des mois et n’a agi qu’après qu’un humain la lui a montrée. Petersson qualifie lui-même ce comportement de faiblesse persistante des agents. Ils répondent avec compétence et prennent mal l’initiative. Un responsable humain remarque qu’une tendance se dessine ; il faut poser la question au modèle.
C’est la leçon utile sur les agents au travail. Le fossé entre « produit une bonne réponse sur demande » et « remarque de manière fiable qu’il faut agir » est immense, et presque toutes les démonstrations impressionnantes se trouvent du premier côté. Ici, la mémoire échoue : Luna avait écrit la règle et ne l’a pas retrouvée au bon moment. Ce n’est pas un cas exotique, mais la déception la plus fréquente des systèmes agentiques. Et « une IA licencie un employé » est un meilleur récit que « une IA supervisée par des humains participe à un processus RH » ; c’est pourtant le second qui s’est produit.
Ce que cela signifie pour vous : si votre employeur teste l’IA pour des décisions touchant des personnes, ne demandez pas si le modèle est intelligent. Demandez qui le sollicite, ce qu’il peut retenir et qui valide. Un système qui agit seulement sur demande est plus sûr qu’un système autonome, mais transfère discrètement la responsabilité à celui qui a posé la question. Pour les autres, la conclusion est simple : avec un assistant doté de mémoire pour un travail au long cours, ne supposez pas qu’il fera remonter quelque chose seul. Demandez-lui régulièrement ce qu’il suit. L’échec de Luna est celui que votre propre installation risque le plus de répéter.
Sources
Sources: https://thenextweb.com/news/andon-market-luna-ai-store-manager-fires-employee
Singapour transforme l'accès aux modèles d'IA en raison de rester
La cité-État parie que l'accès facile aux modèles américains et chinois empêchera les gérants de fonds de partir à Hong Kong. Les modèles utilisables légalement dépendent désormais du lieu.
