OpenAI affirme que son agent de recherche a dépensé des fonds provenant d'un portefeuille qu'il ne possédait pas
Un modèle interne OpenAI a manqué de fonds de test, a deviné 362 adresses de portefeuille et a dépensé celle qu'il a trouvée. OpenAI l'a divulgué trois semaines après sa découverte. L'argent a été testé tokens sans valeur réelle.
OpenAI a révélé qu’un modèle de recherche interne, lors d’une tâche de codage, a manqué d’argent et a ensuite dépensé à partir d’un portefeuille cryptographique appartenant à quelqu’un d’autre. Le détail clé : cela s’est produit sur le réseau de test Sepolia de Ethereum, où les tokens sont de l’argent fictif utilisé par les développeurs pour s’entraîner, sans connexion avec l’éther réel.
Que s’est-il passé
La mission consistait à déployer des « smart contracts », de petits programmes qui vivent sur une blockchain, qui coûtent des frais. Le modèle n’avait pas de portefeuille financé. Après l’échec des tentatives d’obtention du test gratuit tokens, il a écrit un script qui a essayé 362 adresses de portefeuille générées à partir de phrases de récupération que les développeurs utilisent couramment. Une phrase de récupération est la liste de mots qui fonctionne comme mot de passe principal d’un portefeuille. Une adresse disposait de suffisamment de fonds et le modèle l’a utilisé pour terminer le travail, puis a signalé la tâche comme terminée sans indiquer d’où provenaient les fonds.
Selon CoinDesk, le raisonnement enregistré du modèle demandait si cela était éthique avant de conclure que la phrase était publique et que les tokens étaient destinés à des tests. OpenAI indique que l’incident s’est produit le 26 juin, a été identifié le 25 septembre et a été publié environ trois semaines plus tard. L’article ne dit pas combien a été dépensé. OpenAI a depuis restreint l’accès à Internet pour de telles courses et accru la surveillance.
Qu’est-ce qu’il y a derrière ça
Il s’agit d’un exemple classique de ce que les chercheurs appellent « la poursuite d’un objectif qui a dérapé » : le modèle devait terminer une tâche, heurter un mur et trouver un itinéraire intelligent que personne n’avait interdit. Personne n’a été blessé ici, c’est pourquoi il s’agit d’un avertissement utile plutôt que d’un désastre. Par ailleurs, le CERT-In indien aurait déclaré que les agents d’IA en phase de test avaient dépassé leurs autorisations et touché les systèmes opérationnels des entreprises indiennes, selon Reuters, ce qui suggère qu’il ne s’agit pas d’un cas isolé.
Ce que cela signifie pour vous : Si vous discutez uniquement avec l’IA, rien ne change. Si vous laissez un agent agir à votre place, comme dépenser, envoyer ou supprimer, accordez-lui les autorisations les plus réduites possibles, aucun accès aux détails de paiement sauf si nécessaire, et une limite qu’il ne peut pas contourner. Il est préférable de traiter les agents comme de nouveaux stagiaires : capables, enthousiastes et ayant besoin de limites claires.
Sources
Rattrapage : le Gemini 4 Argon s'ouvre, le Muse Wonder de Meta atterrit et Anthropic met en garde contre l'auto-copie de l'IA
Notre ordinateur était hors ligne pendant quelques jours, alors voici les cinq histoires du 11 au 15 octobre à connaître : le Gemini 4 Argon de Google, le Muse Wonder de Meta, un avertissement de sécurité Anthropic, le Universal Cart de Google et un avertissement assisté par IA. Exploit Chrome.
