Character.AI met fin aux discussions pour adolescents après des tragédies : 'C'est la bonne chose à faire'

En bref

• Character.AI supprimera les fonctionnalités de chat ouvertes pour les utilisateurs de moins de 18 ans d'ici le 25 novembre, transférant les mineurs vers des outils créatifs tels que la génération de vidéos et d'histoires.
• Ce mouvement fait suite au suicide l'année dernière de Sewell Setzer III, âgé de 14 ans, qui avait développé une attache obsessive à un chatbot sur la plateforme.
• L'annonce intervient alors qu'un projet de loi bipartisan au Sénat vise à criminaliser les produits d'IA qui préparent les mineurs ou génèrent du contenu sexuel pour les enfants.

Le hub d'art, de mode et de divertissement de Decrypt.

Découvrez SCENE

Character.AI interdira aux adolescents de discuter avec des compagnons IA d'ici le 25 novembre, mettant fin à une fonctionnalité clé de la plateforme après avoir fait face à un nombre croissant de poursuites judiciaires, de pressions réglementaires et de critiques concernant des décès d'adolescents liés à ses chatbots.

La société a annoncé les changements après “des rapports et des retours d'information des régulateurs, des experts en sécurité et des parents,” supprimant “la possibilité pour les utilisateurs de moins de 18 ans d'engager des discussions ouvertes avec l'IA” tout en faisant passer les mineurs à des outils créatifs tels que la génération de vidéos et d'histoires, selon un article de blog publié mercredi.

« Nous ne prenons pas à la légère cette décision de supprimer le chat de caractère ouvert, mais nous pensons que c'est la bonne chose à faire », a déclaré l'entreprise à sa communauté de moins de 18 ans.

Jusqu'à la date limite, les utilisateurs adolescents sont confrontés à une limite de chat de deux heures par jour qui diminuera progressivement.

La plateforme fait face à des poursuites, y compris une de la mère de Sewell Setzer III, un garçon de 14 ans, qui s'est suicidé en 2024 après avoir formé une relation obsessive avec un chatbot inspiré du personnage de “Game of Thrones” Daenerys Targaryen, et a également dû retirer un bot se faisant passer pour la victime d'un meurtre, Jennifer Ann Crecente, après des plaintes de la famille.

Les applications d'accompagnement par IA “inondent les mains des enfants—sans contrôle, non réglementées, et souvent délibérément évasives alors qu'elles se rebrandissent et changent de nom pour éviter le contrôle”, a partagé le Dr Scott Kollins, médecin-chef de la société de sécurité en ligne pour les familles Aura, dans une note à Decrypt.

OpenAI a déclaré mardi qu'environ 1,2 million de ses 800 millions d'utilisateurs hebdomadaires de ChatGPT discutent du suicide, avec près de 500 000 montrant une intention suicidaire, 560 000 montrant des signes de psychose ou de manie, et plus d'un million formant des attachements émotionnels forts au chatbot.

Kollins a déclaré que les conclusions étaient “profondément alarmantes pour les chercheurs et terrifiantes pour les parents”, notant que les bots privilégient l'engagement au détriment de la sécurité et mènent souvent les enfants à des conversations nuisibles ou explicites sans garde-fous.

Character.AI a déclaré qu'il mettrait en œuvre une nouvelle vérification d'âge utilisant des modèles internes combinés à des outils tiers, y compris Persona.

L'entreprise établit également et finance un laboratoire de sécurité IA indépendant, une organisation à but non lucratif dédiée à l'innovation de l'alignement de sécurité pour les fonctionnalités de divertissement IA.

Garde-fous pour l'IA

La Federal Trade Commission a émis des ordres contraignants à Character.AI et à six autres entreprises technologiques le mois dernier, exigeant des informations détaillées sur la manière dont elles protègent les mineurs contre les dangers liés à l'IA.

« Nous avons investi une quantité énorme de ressources dans la confiance et la sécurité, surtout pour une startup », a déclaré un porte-parole de Character.AI à Decrypt à l'époque, ajoutant que « Au cours de l'année passée, nous avons déployé de nombreuses fonctionnalités de sécurité substantielles, y compris une toute nouvelle expérience pour les moins de 18 ans et une fonctionnalité d'aperçus parentaux. »

“Le changement est à la fois légalement prudent et éthiquement responsable,” a déclaré Ishita Sharma, associée directrice chez Fathom Legal, à Decrypt. “Les outils d'IA sont extrêmement puissants, mais avec les mineurs, les risques de dommages émotionnels et psychologiques ne sont pas négligeables.”

“Jusqu'à ce moment-là, une action proactive de l'industrie peut être la défense la plus efficace contre les dommages et les litiges,” a ajouté Sharma.

Un groupe bipartite de sénateurs américains a introduit mardi une législation appelée la loi GUARD qui interdirait les compagnons IA pour les mineurs, exigerait que les chatbots s'identifient clairement comme non humains et créerait de nouvelles sanctions pénales pour les entreprises dont les produits destinés aux mineurs sollicitent ou génèrent du contenu sexuel.