I ricercatori si sono chiesti perché i chatbot non siano efficaci con i fogli di calcolo e la risposta è più strana del previsto
Un nuovo articolo testa cinque spiegazioni sul motivo per cui i modelli linguistici di grandi dimensioni perdono rispetto a metodi vecchi di decenni sulla previsione tabulare. In piccole dimensioni il modello si comporta come un semplice classificatore basato sulla distanza. Nelle dimensioni superiori nulla di classico lo spiega.
I modelli linguistici scrivono codice, riassumono contratti e superano gli esami. Sono decisamente pessimi in uno dei lavori più comuni in tutto il machine learning: guardare una tabella di righe e colonne e prevedere il valore mancante. Un articolo pubblicato il 3 agosto da Marta Garnelo e Wojciech Czarnecki si propone di scoprire il perché, e la parte interessante è quanto dell’ovvia spiegazione esclude.
L’allestimento è volutamente spoglio. I ricercatori consegnano a un frontier model un unico prompt contenente l’intera tabella di addestramento e le righe di test e chiedono previsioni in un passaggio di generazione. Nessuno strumento, nessuna esecuzione di codice, nessun fine-tuning, nessun ciclo di agenti. Quindi testano cinque possibili spiegazioni: che il modello non può far fronte a dati rumorosi o non lineari; che appiattire una tabella in testo separato da virgole distrugge la struttura delle colonne; che il modo in cui i numeri vengono tagliati in token li altera; che richiedere troppe previsioni per query riduce la qualità; e che il numero di colonne è il problema. Confrontano anche il comportamento del modello con 252 modelli classici configurati, il tipo di metodi statistici vecchi di decenni che ancora vincono questi compiti.
Che cosa c’è dietro? La scoperta che risalta è la discrepanza tra i due regimi. Con solo due colonne, il modello si comporta notevolmente come un semplice metodo basato sulla distanza, del tipo che prevede un punto osservando ciò che gli è più vicino, con un accordo fino al 91,6% su una griglia di previsione. Aggiungi più colonne e la somiglianza si spezza: nessun modello classico riproduce le previsioni, anche quando i ricercatori aggiungono deliberatamente del rumore accordato per cercare di imitarle. In altre parole, il modello non sta realizzando una cattiva versione delle statistiche. Sta facendo qualcos’altro, e quel qualcos’altro non si adatta. Ciò va oltre la curiosità, perché è la premessa fondativa dei modelli di fondazione tabulari, un intero campo di ricerca giovane che costruisce modelli specifici per tabelle, e fino ad ora il “perché” era per lo più scontato.
Cosa significa per te: la regola pratica è semplice e vale la pena tenerla stretta. Se la tua domanda è “prevedere questo numero da questa tabella”, un chatbot è lo strumento sbagliato e un vecchio metodo noioso come il gradient boosting o anche la regressione logistica lo batterà, spesso di molto. I casi in cui un modello linguistico aiuta con i dati tabulari sono marginali: spiegare cosa significa una colonna, scrivere il codice che esegue il modello vero e proprio, individuare problemi di formattazione, descrivere i risultati in un linguaggio semplice. Questo è un buon esempio di un’abitudine generale che vale la pena costruire. L’impressionante ampiezza di questi strumenti rende facile assumere competenza ovunque, e la risposta onesta è che i fallimenti sono frammentari e raramente si annunciano.
Fonti
Mistral ha rilasciato un filtro di sicurezza gratuito che descrivi in un inglese semplice e si adatta a una scheda grafica
Shieldstral è un modello a open weights da 3 miliardi di parametri che controlla testo e immagini rispetto a una policy che scrivi tu stesso, in frasi ordinarie, senza alcuna riqualificazione. Funziona su una singola GPU da 16 GB con licenza Apache 2.0.
