Sophie Stipes est née en 2002 dans l'Indiana, dans une famille modeste. Peu après sa naissance, on lui a diagnostiqué une lésion cérébrale, la leucomalacie périventriculaire, des retards de croissance et de développement, et de lourdes pertes d'audition. Grâce à des soins adaptés, elle a pu grandir, apprendre quelques centaines de mots en langue des signes, aller à l'école. Mais en 2008, alors âgée de 6 ans, elle est exclue de Medicaid, le programme d'assurance maladie des plus démunis, pour cause de «défaut de coopération». En l'espèce, un simple problème de paperasse - que le système automatisé de gestion des programmes d'assurance publique de l'Etat, confié à un opérateur privé, a sanctionné par une éviction pure et simple.

Épisode précédentFacebook, l'enfer du décor

Avec l’aide de Dan Skinner, un ancien journaliste devenu militant associatif, les Stipes ont remué ciel et terre pour obtenir la réintégration de la petite fille à Medicaid. D’autres n’ont pas eu cette chance. Après la mise en place du système, en 2006, les refus d’aide sociale dans l’Indiana ont augmenté de 54 % : au moindre oubli, les bénéficiaires étaient radiés. Devant le scandale, l’Etat américain a fini par rompre le contrat.

C'est à Sophie Stipes, «fillette enjouée, solaire, têtue», morte à l'âge de 13 ans, que Virginia Eubanks, professeure de science politique à l'université d'Albany, a dédié Automating Inequality («l'automatisation des inégalités», non traduit, 2018). Outre le système de l'Indiana, la chercheuse s'est aussi penchée sur la base de données centralisée des SDF du comté de Los Angeles - ouverte à 168 organisations différentes, y compris la police - et sur un outil de prévision du risque de maltraitance à enfant utilisé en Pennsylvanie. «Les systèmes automatisés d'éligibilité [aux programmes d'aide] découragent [les plus pauvres] de réclamer les ressources dont ils ont besoin pour survivre, écrit Virginia Eubanks. Les bases de données intégrées collectent leurs informations les plus personnelles, avec bien peu de garanties en matière de vie privée et de sécurité des données. […] Les modèles prédictifs et les algorithmes les étiquettent comme personnes à risque et parents problématiques.»

Ces dernières années, les constats de ce type se sont multipliés. Début 2016, le site d'investigation ProPublica a ainsi enquêté sur le logiciel Compas, un outil d'évaluation du risque de récidive utilisé par des tribunaux américains. En comparant, dans plus de 7 000 dossiers, les «scores» attribués par Compas aux prévenus ou aux détenus et les récidives survenues dans les deux ans, ProPublica a pu constater que «les prévenus noirs étaient beaucoup plus susceptibles que les prévenus blancs de se voir attribuer à tort un risque élevé».

L'an dernier, l'agence Reuters a révélé qu'Amazon avait commencé à développer en 2014, puis définitivement abandonné trois ans plus tard, une intelligence artificielle capable de dénicher les meilleurs CV parmi ceux envoyés à l'entreprise pour des postes techniques. Nourri de données de recrutement sur une décennie, avec une grande majorité d'hommes parmi les candidats et les embauchés, l'outil avait «appris» à pénaliser les candidatures féminines. «Tout algorithme est […], en un sens, biaisé, dans la mesure où il est toujours le reflet - à travers son paramétrage et ses critères de fonctionnement, ou à travers les données d'apprentissage qui lui ont été fournies - d'un système de valeurs et de choix de société», rappelle la Commission nationale de l'informatique et des libertés. Et le problème est d'autant plus crucial quand il s'agit d'outils utilisés par les pouvoirs publics.

«Le code régule, écrivait déjà le constitutionnaliste américain Lawrence Lessig en 2000 dans un article lumineux, Code Is Law («le code fait loi»). Il implémente - ou non - un certain nombre de valeurs. Il garantit certaines libertés, ou les empêche.» A mesure qu'étaient de plus en plus documentés les problèmes de reproduction des stéréotypes et des discriminations par les algorithmes et l'IA, a émergé le débat sur la manière de les rendre plus vertueux : transparence, devoir de vigilance des concepteurs, principe de «loyauté».

Reste que «les algorithmes […] ne "gouvernent" que dans la mesure où nous renonçons à (nous) gouverner nous-mêmes, dans la mesure où nous sous-traitons à ces machines la charge de prendre des décisions qui nous reviennent, écrit la philosophe Antoinette Rouvroy dans l'ouvrage collectif Droit, normes et libertés dans le cybermonde (2018). L'exigence de transparence des processus algorithmiques, ou encore de "responsabilité" des algorithmes […] a sa légitimité et son utilité, mais […] ressemble plus à une tentative d'adaptation du droit à une évolution - une "prise de pouvoir" des algorithmes - présentée comme inéluctable, alors même que cette "prise de pouvoir" des algorithmes pourrait bien saper, fondamentalement, les prémisses de l'Etat de droit.»

Vendredi Whatsapp