Des chercheurs ont demandé pourquoi les chatbots sont mauvais avec les feuilles de calcul, et la réponse est plus étrange que prévu
Un nouvel article teste cinq explications expliquant pourquoi les grands modèles de langage perdent face aux méthodes de prédiction tabulaire vieilles de plusieurs décennies. En faibles dimensions, le modèle se comporte comme un simple classificateur basé sur la distance. Dans les dimensions supérieures, rien de classique ne l'explique.
Les modèles de langage écrivent du code, résument les contrats et réussissent les examens. Ils sont manifestement mauvais dans l’un des tâches les plus courantes de tout l’apprentissage automatique : examiner un tableau de lignes et de colonnes et prédire la valeur manquante. Un article publié le 3 août par Marta Garnelo et Wojciech Czarnecki tente de découvrir pourquoi, et la partie intéressante est de savoir dans quelle mesure l’explication évidente est exclue.
La configuration est volontairement nue. Les chercheurs remettent à un frontier model une seule invite contenant l’intégralité de la table de formation et les lignes de test, et demandent des prédictions en une seule génération. Aucun outil, aucune exécution de code, aucun fine-tuning, aucune boucle d’agent. Ils testent ensuite cinq explications possibles : le modèle ne peut pas gérer des données bruitées ou non linéaires ; que l’aplatissement d’un tableau en texte séparé par des virgules détruit la structure des colonnes ; que la façon dont les nombres sont découpés en tokens les déforme ; que demander trop de prédictions par requête dégrade la qualité ; et que le nombre de colonnes est le problème. Ils comparent également le comportement du modèle à 252 modèles classiques configurés, le genre de méthodes statistiques vieilles de plusieurs décennies qui remportent encore ces tâches.
Qu’est-ce qui se cache derrière cela. Le constat qui ressort est l’inadéquation entre deux régimes. Avec seulement deux colonnes, le modèle se comporte remarquablement comme une simple méthode basée sur la distance, du genre qui prédit un point en regardant ce qui s’en rapproche le plus, avec jusqu’à 91,6 % d’accord sur une grille de prédiction. Ajoutez plus de colonnes et cette ressemblance disparaît : aucun modèle classique ne reproduit les prédictions, même lorsque les chercheurs ajoutent délibérément du bruit ajusté pour tenter de les imiter. En d’autres termes, le modèle ne fait pas une mauvaise version des statistiques. Il s’agit de faire autre chose, et cette autre chose ne s’adapte pas à l’échelle. Cela importe au-delà de la curiosité, car c’est la prémisse fondatrice des modèles de base tabulaires, tout un jeune domaine de recherche construisant des modèles spécifiquement pour les tableaux, et jusqu’à présent, le « pourquoi » était principalement supposé.
Ce que cela signifie pour vous: la règle pratique est simple et mérite d’être respectée. Si votre question est « prédire ce nombre à partir de ce tableau », un chatbot n’est pas le bon outil, et une vieille méthode ennuyeuse telle que l’augmentation de gradient ou même la régression logistique le battra, souvent de loin. Là où un modèle de langage est utile avec les données tabulaires, c’est sur les bords : expliquer ce que signifie une colonne, écrire le code qui exécute le modèle réel, repérer les problèmes de formatage, décrire les résultats dans un langage simple. C’est un bon exemple d’habitude générale qui mérite d’être bâtie. L’étendue impressionnante de ces outils permet d’assumer facilement la compétence partout, et la réponse honnête est que les échecs sont inégaux et rarement annoncés.
Sources
Sources: https://arxiv.org/abs/2608.02412
Mistral a publié un filtre de sécurité gratuit que vous décrivez en anglais simple et qui tient sur une seule carte graphique.
Shieldstral est un modèle à pondération ouverte de 3 milliards de paramètres qui vérifie le texte et les images par rapport à une politique que vous écrivez vous-même, dans des phrases ordinaires, sans aucun recyclage. Il fonctionne sur un seul GPU de 16 Go sous licence Apache 2.0.
