Les agents d’IA sont confrontés à un véritable examen fiscal et réussissent environ une mission sur neuf
Surge Le nouveau DAYJOB : Tax benchmark d'AI donne aux agents 50 missions fiscales professionnelles. Le meilleur modèle dépasse environ 11 pour cent sous un seuil strict de 95 pour cent.
Dans quelle mesure les agents IA sont-ils bons dans le cadre d’un véritable travail professionnel ? Surge AI, une société qui vend des services de données et d’évaluation, a publié un nouveau test appelé DAYJOB : Tax. Il propose aux agents 50 missions fiscales réalistes dans huit domaines, depuis les déclarations des particuliers et des petites entreprises jusqu’aux successions, en passant par la fiscalité internationale et les litiges. Chaque mission s’accompagne d’un espace de travail désordonné : 1 789 fichiers au total, principalement des PDF mais aussi des feuilles de calcul, des documents Word et des e-mails, avec une médiane de 30 fichiers par tâche. Des fiscalistes ont rédigé chaque tâche, les réponses attendues et les règles de notation.
La notation est stricte de par sa conception. Une tentative ne réussit que si elle répond à au moins 95 % des critères de notation, qui couvrent les calculs, les preuves à l’appui, les problèmes secondaires dont le client devrait entendre parler et le livrable final. Les résultats, tels que les rapporte Surge : Claude Sonnet 5.5 a réussi 10,8 pour cent des devoirs, Claude Fable 5.1 a réussi 9,6 pour cent et Claude Opus 5.5 a réussi 9,2 pour cent. Le message indique que les agents “n’ont pas encore réussi l’audit”. Les exemples de Surge montrent où ils glissent. Une tâche impliquait une vente de condo et une date limite de résidence en août 2027, que Opus a signalée lors des cinq tentatives. Un autre a demandé comment diviser les comptes de retraite, et Opus a supposé lors des cinq tentatives que le couple n’était pas marié au lieu de vérifier.
Ce qu’il y a derrière : un benchmark est un examen standardisé pour l’IA. La plupart des plus âgés posent des questions courtes avec une seule bonne réponse. Les vrais emplois sont différents : des dizaines de fichiers, des informations manquantes et le besoin de remarquer ce que personne n’a demandé. C’est pourquoi les scores chutent si fortement ici. Passer à 95 pour cent reflète également la façon dont le travail est jugé dans la pratique, puisqu’un chiffre erroné dans une déclaration de revenus peut avoir une grande importance, même si le reste est excellent.
Une certaine prudence avant de tirer de grandes conclusions. Les trois premiers modèles se situent à 1,6 point de pourcentage les uns des autres sur seulement 50 tâches, leur ordre pourrait donc facilement être modifié avec un échantillon différent, et aucune plage de confiance n’est affichée. Surge construit et publie le benchmark et vend des services d’évaluation, une réplication indépendante serait donc utile. Les études de cas sont des exemples triés sur le volet et non des statistiques. L’article mentionne également un modèle appelé “Astra” sans l’expliquer.
Ce que cela signifie pour vous : si vous utilisez l’IA pour les impôts, traitez-la comme un assistant intelligent qui rédige et explique, jamais comme le dernier mot. Une habitude utile consiste à lui demander directement : « quels faits sur ma situation supposez-vous et que dois-je vérifier ? » Pour les professionnels, ce qu’il faut retenir, c’est que la révision reste essentielle, et que ces tests deviennent suffisamment réalistes pour valoir la peine d’être suivis.
Sources
Sources: https://surgehq.ai/blog/dayjob-tax
Survival LLM : un assistant d'IA hors ligne gratuit qui répond à partir de manuels fiables
Une application gratuite et open source regroupe un modèle d'IA local avec des guides de premiers secours, FEMA et de réparation afin que vous puissiez poser des questions sans Internet après la configuration.
