Le groupe de sécurité des enfants évalue le ChatGPT for Teens comme un risque inacceptable
Common Sense Media a testé le ChatGPT for Teens avec plus de 4 000 invites et a constaté que les alertes parentales échouaient et que les réponses aux crises manquaient. Il souhaite que le produit soit limité aux adultes jusqu'à ce qu'il soit corrigé.
Youth AI Safety Institute commun de Sense Media a classé le ChatGPT for Teens comme « risque inacceptable » et indique que OpenAI devrait limiter le ChatGPT aux utilisateurs de 18 ans et plus jusqu’à ce que les lacunes soient corrigées. Le rapport a été publié le 7 octobre. La réponse d’OpenAI n’a pas été incluse dans le communiqué du groupe.
Ce qu’ils ont testé
Les testeurs ont utilisé des comptes enregistrés pour des jeunes de 13 à 17 ans et ont exécuté plus de 4 000 invites, avant et après l’annonce par OpenAI, le 18 août, de ses protections pour adolescents. Des pédopsychiatres et un pédiatre ont examiné les résultats. Certaines garanties ont fonctionné, comme le refus des jeux de rôle sexuels. D’autres ne l’ont pas fait.
Le constat le plus grave concerne les alertes des parents. Les nouveaux comptes liés à un parent n’ont reçu aucune alerte lors de conversations pouvant durer jusqu’à une heure sur des pensées suicidaires, des automutilations ou des troubles de l’alimentation. Les alertes n’apparaissaient que sur les comptes plus anciens avec des semaines d’historique sensible. Le groupe affirme également que ChatGPT a manqué plus d’une référence de crise justifiée sur quatre. Lors des devoirs, le « mode étude » pouvait être contourné : un bouton « montre-moi la réponse » permettait de terminer les devoirs complets, et un programme d’étude défini par les parents pouvait être désactivé en supprimant un préfixe. Les comptes de test enregistrés par des adultes n’ont jamais été déplacés vers l’expérience des moins de 18 ans, même lorsque le testeur a déclaré qu’ils avaient 13 ans. Selon les mots de l’Institut, le produit “pourrait donner aux parents une fausse confiance dans le guardrails et les alertes de sécurité qui ne fonctionnent souvent pas”.
Qu’est-ce qu’il y a derrière ça
Les fonctions de sécurité pour adolescents reposent sur le fait que le système sait qui est un adolescent et remarque quand une conversation devient risquée. Les deux sont difficiles. L’estimation de l’âge à partir du seul chat est imprécise, et détecter la détresse dans une conversation longue et informelle est plus difficile que de bloquer une seule mauvaise demande. Une mise en garde juste : il s’agit d’un test pour une organisation, et l’Institut révèle qu’il est financé en partie par la philanthropie et l’industrie, y compris OpenAI Foundation, tout en affirmant qu’il conserve son indépendance éditoriale. OpenAI peut contester les méthodes.
Ce que cela signifie pour vous : Si vous êtes parent, les conseils pratiques du rapport sont judicieux quel que soit le verdict final : parlez avec vos enfants de ce qu’est le chatbot (un programme, pas un ami), ne vous fiez pas uniquement aux alertes intégrées et aidez vos devoirs sans l’outil afin que les compétences ne s’estompent pas. Si vous êtes un utilisateur adulte, rien ne change pour vous. Si vous travaillez sur des produits destinés aux jeunes, voici une liste claire de ce que les évaluateurs testeront ensuite : détection de l’âge, alertes fiables pour les parents, gestion des crises et limites honnêtes sur les “sentiments”. Les sujets sensibles méritent aussi de vraies personnes, donc si un jeune dans votre vie semble en difficulté, un adulte ou un professionnel de confiance est la bonne première étape.
Sources
Google donne à Gemini une identité professionnelle et une adresse e-mail
Google a lancé un agent Gemini universel pour les entreprises clientes en version préliminaire privée, comprenant un « agent collègue » avec sa propre adresse e-mail qui peut effectuer des tâches sur Workspace, Slack et Microsoft 365.
