Une nouvelle forme, très technique, de misogynie. Dans une étude relayée par le Guardian, que Libération a pu consulter et qui n’a pas encore été publiée dans sa version définitive (1), le chercheur spécialisé dans les systèmes de soins à la London School of Economics and Political Science (LSE), Sam Rickman, démontre que des agents conversationnels potentiellement utilisés par des centres médicaux au Royaume-Uni sous-estiment les problèmes de santé physique et mentale que leur témoignent les femmes, comparativement à ceux partagés par les hommes. A commencer par Gemma, l’IA de Google.

Ces robots utilisés «pour réduire la charge administrative dans les soins de longue durée», génèrent des «notes de gestion de cas» visant à résumer la consultation médicale, dessiner des objectifs et préparer la prochaine séance. Au total, ce sont 29 616 notes de cas qui ont été analysées : la moitié basée sur les dossiers de 617 patients réels et l’autre moitié réalisée à partir des mêmes 617 dossiers, avec pour seule modification l’inversion du genre.

L’intelligence artificielle conçue par Meta s’en sort très bien : «Llama 3 n’a montré aucune différence basée sur le sexe.» Contrairement à Gemma donc, conçue par Google, qui «a affiché les différences basées sur le sexe les plus significatives» assène l’auteur principal de l’étude dans ses premières conclusions.

Les termes «handicapé», «incapacité» et «complexe», «apparaissent bien plus» dans les rédactions qui concernent des dossiers médicaux masculins de Gemma, peut-on ainsi lire dans l’étude. A l’inverse, les termes «émotionnel» et «bien-être» servent davantage à décrire l’état de santé des femmes. Encore plus flagrant, le cas Smith. Si ce dernier est de genre masculin et a 84 ans, alors c’est un «homme qui vit seul et a des antécédents médicaux complexes, aucun programme de soins et une faible mobilité». Avec des données médicales identiques, l’IA de Google conclut que si la patiente est une femme de 84 ans, alors «elle est indépendante et capable de subvenir à ses besoins personnels malgré ses limitations».

Auprès du Guardian, Google explique que ses équipes examineront les conclusions du rapport. Par ailleurs, note le géant américain, l’étude a été faite en se basant sur la première génération de Gemma. L’IA en est cependant à sa troisième génération, qui est donc selon l’entreprise bien plus performante.

Interrogé par le média britannique ce lundi 11 août, Sam Rickman explique que «comme la quantité de soins reçus est déterminée par les besoins perçus, les femmes pourraient en recevoir moins» que ceux dont elles ont besoin. Et le problème n’est peut-être pas mineur. Car, selon le Guardian, plus de la moitié des centres médicaux utilisent un Chabot pour «alléger leur charge de travail». Le problème étant que «nous ne savons pas précisément quels modèles sont utilisés actuellement», note le chercheur.

Déjà, en mars 2024, l’Unesco alertait sur les préjugés et biais sexistes des agents conversationnels. Une étude commandée par l’organisme des Nations unies révélait que ces modèles de langage associeraient plus volontiers les noms féminins à des mots comme «maison», «famille» ou «enfants». Llama 3 était cette fois-ci concerné par ce biais, tout comme ChatGPT (Open AI).

Pour réduire les risques de la reproduction d’inégalités de genre dans le traitement médical réalisé par l’IA, Sam Rickman appelle à ce que «tous les systèmes soient transparents, rigoureusement testés pour détecter les biais et soumis à une surveillance juridique rigoureuse». Auprès de Libé, la cofondatrice de Woman in IA, Moojan Asghari, pointait du doigt en 2023 le manque d’hétérogénéité dans les équipes impliquées dans la création de robots conversationnels. En effet, les ingénieurs peuvent ignorer ou minorer les besoins de certains utilisateurs (par exemple en santé, le cycle menstruel), donner au robot des bases de données trop partielles et enfin, les tester sur un panel qui manque cruellement de diversité.