Los agentes de IA se enfrentan a un examen fiscal real y aprueban aproximadamente una tarea de cada nueve
Surge El nuevo DAYJOB de AI: Impuestos benchmark ofrece a los agentes 50 asignaciones fiscales profesionales. El mejor modelo supera alrededor del 11 por ciento bajo un estricto umbral del 95 por ciento.
¿Qué tan buenos son los agentes de IA en el trabajo profesional real? Surge AI, empresa que vende datos y servicios de evaluación, publicó una nueva prueba llamada DAYJOB: Tax. Ofrece a los agentes 50 asignaciones fiscales realistas en ocho áreas, desde declaraciones individuales y de pequeñas empresas hasta herencias, impuestos internacionales y disputas. Cada tarea viene con un espacio de trabajo desordenado: 1.789 archivos en total, en su mayoría PDF pero también hojas de cálculo, documentos de Word y correos electrónicos, con una media de 30 archivos por tarea. Los expertos en impuestos escribieron cada tarea, las respuestas esperadas y las reglas de calificación.
La puntuación es estricta por diseño. Un intento solo se aprueba si cumple con al menos el 95 por ciento de los criterios de calificación, que cubren cálculos, evidencia de respaldo, cuestiones secundarias que el cliente debería conocer y el resultado final. Los resultados, tal como los informa Surge: Claude Sonnet 5.5 aprobó el 10,8 por ciento de las asignaciones, Claude Fable 5.1 superó el 9,6 por ciento y Claude Opus 5.5 superó el 9,2 por ciento. La publicación dice que los agentes “aún no han pasado la auditoría”. Los ejemplos de Surge muestran dónde fallan. Una tarea involucraba la venta de un condominio y una fecha límite de residencia de agosto de 2027, que Opus marcó en los cinco intentos. Otro preguntó cómo dividir las cuentas de jubilación, y Opus asumió en los cinco intentos que la pareja no estaba casada en lugar de tener cheques.
Qué hay detrás: un benchmark es un examen estandarizado para IA. La mayoría de los mayores hacen preguntas breves con una respuesta correcta. Los trabajos reales se ven diferentes: docenas de archivos, información faltante y la necesidad de darse cuenta de lo que nadie preguntó. Por eso aquí las puntuaciones bajan tan bruscamente. Pasar el 95 por ciento también refleja cómo se juzga el trabajo en la práctica, ya que una cifra incorrecta en una declaración de impuestos puede importar mucho, incluso si el resto es excelente.
Algunas precauciones antes de sacar grandes conclusiones. Los tres modelos principales se ubican a una distancia de 1,6 puntos porcentuales entre sí en solo 50 tareas, por lo que su orden podría mezclarse fácilmente con una muestra diferente y no se muestran rangos de confianza. Surge construye y publica benchmark y vende servicios de evaluación, por lo que una replicación independiente sería útil. Los estudios de caso son ejemplos cuidadosamente seleccionados, no estadísticas. El artículo también menciona un modelo llamado “Astra” sin explicarlo.
Qué significa esto para usted: si utiliza IA para los impuestos, trátela como un asistente inteligente que redacta y explica, nunca como la última palabra. Un hábito útil es preguntarle directamente: “¿Qué datos sobre mi situación asumió y qué debo verificar?”. Para los profesionales, la conclusión es que la revisión sigue siendo esencial y que estas pruebas se están volviendo lo suficientemente realistas como para que valga la pena seguirlas.
Fuentes
Fuentes: https://surgehq.ai/blog/dayjob-tax
Survival LLM: un asistente de IA sin conexión gratuito que responde con manuales confiables
Una aplicación gratuita y de código abierto incluye un modelo de IA local con guías de primeros auxilios, FEMA y reparación para que puedas hacer preguntas sin Internet después de la configuración.
