Gli agenti dell'intelligenza artificiale affrontano un vero esame fiscale e superano circa un incarico su nove
Surge Il nuovo DAYJOB di AI: Tax benchmark offre agli agenti 50 incarichi fiscali professionali. Il modello migliore supera l'11% circa sotto la soglia rigorosa del 95%.
Quanto sono bravi gli agenti IA nel lavoro professionale reale? Surge AI, una società che vende dati e servizi di valutazione, ha pubblicato un nuovo test chiamato DAYJOB: Tax. Fornisce agli agenti 50 assegnazioni fiscali realistiche in otto aree, dalle dichiarazioni dei privati e delle piccole imprese alle proprietà, alle tasse internazionali e alle controversie. Ogni compito comporta uno spazio di lavoro disordinato: 1.789 file in totale, principalmente PDF ma anche fogli di calcolo, documenti Word ed e-mail, con una media di 30 file per attività. Esperti fiscali hanno scritto ogni compito, le risposte attese e le regole di valutazione.
Il punteggio è rigoroso in base alla progettazione. Un tentativo viene superato solo se soddisfa almeno il 95% dei criteri di valutazione, che riguardano calcoli, prove a sostegno, questioni collaterali di cui il cliente dovrebbe essere informato e il risultato finale. I risultati, come li riporta Surge: Claude Sonnet 5.5 ha superato il 10,8% degli incarichi, Claude Fable 5.1 ha superato il 9,6% e Claude Opus 5.5 ha superato il 9,2%. Il post afferma che gli agenti “non hanno ancora superato l’audit”. Gli esempi di Surge mostrano dove scivolano. Un’attività prevedeva la vendita di un condominio e una scadenza per la residenza nell’agosto 2027, che Opus ha segnalato in tutti e cinque i tentativi. Un altro ha chiesto come dividere i conti pensionistici e Opus ha ipotizzato in tutti e cinque i tentativi che la coppia non fosse sposata invece di controllare.
Cosa c’è dietro: uno benchmark è un esame standardizzato per l’intelligenza artificiale. La maggior parte dei più grandi fa domande brevi con una risposta giusta. I veri lavori sembrano diversi: dozzine di file, informazioni mancanti e la necessità di notare ciò che nessuno ha chiesto. Ecco perché qui i punteggi scendono così bruscamente. Il passaggio al 95% rispecchia anche il modo in cui viene giudicato il lavoro nella pratica, poiché una cifra sbagliata in una dichiarazione dei redditi può avere molta importanza, anche se il resto è eccellente.
Qualche cautela prima di trarre grandi conclusioni. I primi tre modelli si trovano a una distanza di 1,6 punti percentuali l’uno dall’altro su sole 50 attività, quindi il loro ordine potrebbe facilmente mescolarsi con un campione diverso e non vengono mostrati intervalli di confidenza. Surge costruisce e pubblica benchmark e vende servizi di valutazione, quindi una replica indipendente sarebbe d’aiuto. I casi di studio sono esempi selezionati con cura, non statistiche. L’articolo menziona anche un modello chiamato “Astra” senza spiegarlo.
Che cosa significa per te: se utilizzi l’intelligenza artificiale per le tasse, trattala come un assistente intelligente che redige e spiega, mai come l’ultima parola. Un’abitudine utile è chiedergli direttamente: “quali fatti hai ipotizzato riguardo alla mia situazione e cosa dovrei verificare?” Per i professionisti, la conclusione è che la revisione resta essenziale e che questi test stanno diventando abbastanza realistici da meritare di essere seguiti.
Fonti
Survival LLM: un assistente AI offline gratuito che risponde da manuali affidabili
Un'app gratuita e open source raggruppa un modello AI locale con guide di primo soccorso, FEMA e riparazione in modo da poter porre domande senza Internet dopo la configurazione.
