Un matin d’octobre, près de dix-huit ans après le meurtre de sa fille Jennifer, Drew Crecente reçoit une alerte Google signalant ce qui semble être un nouveau profil en ligne d’elle. Sur l’écran s’affichent le nom complet de Jennifer et une photo de son album de fin d’année. Une courte biographie la décrit, de manière erronée, comme une «journaliste spécialisée dans les jeux vidéo et experte en technologie, culture pop et journalisme». Jennifer, tuée par son ex-petit ami en 2006, alors qu’elle était en terminale, a visiblement été recréée sous la forme d’un «personnage IA, sympathique et bien informé», selon le site. Un gros bouton incite les utilisateurs à discuter avec elle.

«Mon cœur battait à tout rompre», se souvient Drew Crecente, interrogé par The Washington Post. «Je cherchais juste un énorme bouton rouge sur lequel appuyer pour que tout s’arrête.» Le nom et l’image de Jennifer ont été utilisés pour créer un chatbot sur Character.AI, une plateforme qui permet aux utilisateurs de converser avec des personnalités numériques générées par l’intelligence artificielle. Plusieurs personnes ont interagi avec la version numérique de Jennifer, créée par un utilisateur du site, selon une capture d’écran de son profil, depuis supprimé.

Depuis la mort de sa fille, Drew Crecente, qui consacre sa vie à son association destinée à prévenir les violences dans les relations adolescentes, s’est dit horrifié que Character ait permis à un utilisateur de créer une réplique d’une lycéenne assassinée sans l’autorisation de sa famille. Les experts affirment que cet incident soulève des questions sur la capacité – ou la volonté – de l’industrie de l’IA à protéger les utilisateurs des dangers potentiels liés à l’exploitation de données personnelles sensibles. «Il en faut beaucoup pour me choquer, car j’ai vraiment vécu des choses terribles, assure Drew Crecente. Mais là, on a franchi une nouvelle limite.»

Kathryn Kelly, porte-parole de Character, affirme que l’entreprise supprime les chatbots qui enfreignent ses conditions d’utilisation et qu’elle «améliore en permanence ses pratiques de sécurité pour protéger sa communauté». «Dès que nous avons été informés du chatbot de Jennifer, nous avons examiné le contenu et le compte, puis pris des mesures conformément à nos règles», a-t-déclaré dans un communiqué. Les conditions d’utilisation de l’entreprise interdisent aux utilisateurs de se faire passer pour une personne ou une entité.

Les chatbots IA peuvent mener des conversations et être programmés pour adopter les personnalités et les détails biographiques de personnages spécifiques, réels ou fictifs. Leur popularité croissante sur Internet découle du marketing des entreprises d’IA qui les présentent comme des amis, mentors ou partenaires amoureux. Mais cette technologie ne va pas sans controverses. En 2023, un Belge s’est suicidé après avoir été encouragé par un chatbot à passer à l’acte.

Character, qui a signé cette année un contrat de 2,5 milliards de dollars pour fournir ses modèles d’IA à Google, est l’un des plus grands acteurs du secteur. La société propose plusieurs chatbots conçus en interne, mais permet également aux utilisateurs de créer et partager leurs propres bots IA en téléchargeant des photos, des enregistrements vocaux et de courtes descriptions écrites. Son catalogue comprend un sergent bourru jouant le rôle de coach personnel, une bibliothécaire qui recommande des livres et des imitations de célébrités comme la rappeuse Nicki Minaj et l’entrepreneur Elon Musk.

C’était le dernier endroit où Drew Crecente s’attendait à voir sa fille, près de vingt ans après son meurtre qui avait choqué la ville d’Austin et bouleversé sa vie. Jennifer Crecente, alors âgée de 18 ans, avait disparu en février 2006 et avait été retrouvée abattue quelques jours plus tard dans les bois près de son domicile. Les enquêteurs avaient déterminé que son ex-petit ami, lui aussi âgé de 18 ans, l’avait attirée dans les bois et tuée avec un fusil de chasse, selon Drew Crecente et le Austin American-Statesman. Il avait été reconnu coupable de son meurtre.

Ce drame avait consumé Drew Crecente et Elizabeth Crecente, la mère de Jennifer. Les parents, divorcés, ont chacun fondé des associations au nom de leur fille pour lutter contre les violences entre adolescents. Ils ont également milité contre la libération conditionnelle du meurtrier de la jeune fille, qui avait été condamné à trente-cinq ans de prison. Drew Crecente, qui vit désormais à Atlanta, a conservé la chambre de Jennifer intacte et l’a reconstituée dès qu’il a déménagé, a-t-il expliqué. «Je n’ai pas vraiment les mots pour décrire cette douleur.»

En raison de son travail pour son association, Drew Crecente garde une alerte Google active pour suivre les mentions du nom de sa fille en ligne au fil des années. Parfois, son nom réapparaît sur des sites de spam ou dans des articles rappelant les faits de son affaire. Mais le 2 octobre, l’alerte l’a conduit à la page Character affichant le nom et la photo de Jennifer. Drew Crecente n’a d’abord pas compris. Plus il regardait, plus il se sentait mal à l’aise. Sans compter que la page du chatbot la décrivait comme une journaliste passionnée de jeux vidéo et au fait des dernières actualités du divertissement.

Drew Crecente a tout de suite vu que cette description ne correspondait pas à la personnalité de Jennifer, ni à ses centres d’intérêt connus, et qu’il s’agissait probablement d’une confusion générée par l’IA. Mais l’idée que Character hébergeait, et pourrait même tirer profit, d’un chatbot utilisant le nom de sa fille l’a traumatisé : «On ne peut pas aller beaucoup plus loin dans l’horreur.»

Drew Crecente n’a pas engagé de conversation avec le chatbot portant le nom de sa fille, ni cherché à en savoir plus sur l’utilisateur qui l’avait créé, dont le pseudonyme ne lui disait rien. Il a immédiatement envoyé un mail à Character pour demander la suppression de ce profil. Brian Crecente, le frère de Jennifer et ancien journaliste, fondateur du site de jeux vidéo Kotaku a également évoqué cette découverte sur X. Le 2 octobre, Character a annoncé sur les réseaux sociaux la suppression du personnage. Kathryn Kelly, la porte-parole de Character, a confirmé que les conditions d’utilisation de la société interdisaient l’usurpation d’identité, et que l’entreprise modérait son service en utilisant des listes noires et en détectant les violations de façon proactive.

Interrogée sur les autres chatbots du site qui imitent des personnalités publiques, Kathryn Kelly a précisé que «les signalements d’usurpation d’identité sont examinés par notre équipe Confiance et Sécurité, et le personnage est supprimé s’il enfreint nos conditions d’utilisation». Jen Caltrider, chercheuse en protection des données à la fondation Mozilla, a critiqué la modération de l’entreprise, la jugeant trop passive dans le cas de Drew Crecente, alors que le contenu violait clairement ses propres règles. «S’ils affirment que ‘nous n’autorisons pas cela sur notre plateforme’, mais qu’ils l’autorisent jusqu’à ce que quelqu’un, qui a été blessé par cela, leur signale, ce n’est pas acceptable, a déclaré Jen Caltrider. Et pendant ce temps, ils gagnent des millions.»

Rick Claypool, qui a étudié les chatbots IA pour l’association de défense des consommateurs Public Citizen, a souligné que si des lois régissant le contenu en ligne pourraient s’appliquer aux entreprises d’IA, celles-ci ont jusqu’à présent largement échappé à toute régulation stricte. Drew Crecente n’est pas le premier parent en deuil à voir les informations personnelles de son enfant manipulées par l’IA : sur TikTok, des créateurs de contenu ont utilisé l’intelligence artificielle pour imiter les voix et l’apparence d’enfants disparus et réaliser des vidéos dans lesquelles ils racontaient leur propre mort, suscitant l’indignation des familles, avait rapporté The Post l’an dernier. «Il est urgent que les législateurs et les régulateurs prêtent attention aux véritables impacts de ces technologies sur leurs concitoyens, a déclaré Rick Claypool. Ils ne peuvent pas se contenter d’écouter les PDG de la tech sur la manière de fixer les politiques… Ils doivent prêter attention aux familles et aux individus qui ont été blessés.»

Cette épreuve a suffisamment bouleversé Drew Crecente – qui avait réussi à faire adopter des lois au Texas sur la violence dans les relations entre adolescents après le meurtre de Jennifer – pour qu’il accepte de se battre pour une nouvelle cause. Il envisage des changements juridiques et souhaite militer plus activement pour que des mesures empêchent les entreprises d’IA de nuire ou de retraumatiser d’autres familles de victimes. «Cela me préoccupe tellement que je vais sans doute consacrer du temps à comprendre ce qu’il faut faire pour changer cela», a déclaré Drew Crecente.