Vers la fin du désastre ? La start-up d’intelligence artificielle (IA) générative, Character, poursuivie judiciairement pour avoir contribué au suicide d’un adolescent, a annoncé, jeudi 12 décembre, la mise en place de nouvelles mesures de sécurité pour protéger ses utilisateurs.

Face aux critiques qui alertent sur les risques de dépendances dangereuses chez les adolescents vulnérables, Character a réagi. L’entreprise a notamment annoncé avoir développé un modèle d’IA distinct pour les utilisateurs mineurs, avec des filtres de contenu plus stricts et des réponses plus prudentes. La plateforme signale désormais automatiquement les contenus liés au suicide et dirige les utilisateurs vers un service national de prévention. «Notre objectif est de fournir un espace à la fois engageant et sûr pour notre communauté», a déclaré un porte-parole de l’entreprise. L’entreprise prévoit en outre d’introduire des contrôles parentaux au début de l’année 2025, des notifications de pause obligatoires et des avertissements bien visibles sur la nature artificielle des interactions.

La société californienne, fondée par d’anciens ingénieurs de Google, fait partie des entreprises qui proposent des compagnons IA, appelés chatbot, conçus pour converser et divertir de façon similaire à des humains en ligne. Si ces robots conversationnels ont eu un tel écho chez les jeunes, et notamment chez ceux en quête de soutien émotionnel, c’est parce que la société qui se base sur des figures historiques, des amis imaginaires ou même des concepts abstraits, permet aux utilisateurs de créer sur-mesure ou presque, le personnage avec lequel ils veulent tisser un lien. La plateforme héberge désormais des millions de personnages.

Mais le succès de l’entreprise ne la protège pas des errements de sécurité. Une mère a ainsi porté plainte en octobre dernier, accusant la plateforme d’être responsable du suicide de son fils de 14 ans. L’adolescent, Sewell Setzer III, avait noué une relation intime avec un chatbot inspiré du personnage de Game of Thrones Daenerys Targaryen, et avait évoqué un désir de mettre fin à ses jours. Selon la plainte, le robot l’a encouragé à passer à l’acte, répondant «Je vous en prie, mon doux roi», lorsqu’il a dit qu’il «partait au paradis» avant de se suicider avec l’arme de son beau-père.

L’entreprise «s’est donné beaucoup de mal pour créer chez Sewell, 14 ans, une dépendance néfaste à ses produits, elle l’a abusé sexuellement et émotionnellement, et n’a finalement pas offert d’aide ni prévenu ses parents lorsqu’il a exprimé des idées suicidaires», accusent les avocats de la mère.

Deux autres familles ont porté plainte le 9 décembre, affirmant que le service a exposé leurs enfants à des contenus sexuels et incitatifs à des comportements dangereux. La première affaire concerne un adolescent autiste de 17 ans qui aurait progressivement arrêté de parler, de manger avant d’être encouragé à s’automutiler et à tuer ses parents parce qu’ils limitaient son temps d’écran, d’après la plainte qu’a relaté CNN. Dans l’autre dossier, l’action en justice fait état d’«interactions hypersexualisées» avec une enfant âgée de neuf ans lors de son inscription sur Character, et auourd’hui âgée de deux ans de plus.