L’Elysée l’assume, le Sommet pour l’action sur l’intelligence artificielle, qui s’est tenu du lundi 10 au mardi 11 février, vise à changer la narration autour de l’IA pour en montrer ses aspects positifs. La table ronde «Vie privée, la cybersécurité et l’intégrité de l’information» réfléchissait ainsi à «tirer parti de l’IA pour protéger les démocraties». Plus d’IA pour nous protéger des IA, en somme. Soit à peu près la même promesse que de nombreux «détecteurs d’images IA», qui parient sur l’utilisation d’une IA générative (type ChatGPT) pour déceler si une image a été créée… par IA ou non. «Ces logiciels entraînent une intelligence artificielle sur une base de données d’images réelles et générées, en lui apprenant à discriminer les deux», explique à CheckNews Ewa Kijak, maître de conférences et coresponsable de l’option Imagerie numérique à l’Ecole supérieure d’ingénieurs de Rennes.
Pourtant, de simples manipulations permettent de «tromper» ces logiciels qui se prétendent fiables, comme l’a expérimenté CheckNews, aidé par des chercheurs spécialistes du sujet. Parmi cette galaxie de logiciels, la société québécoise Winston AI. A en croire son site internet qui affiche un taux de crédibilité de 99,98 %, il s’agit du «détecteur d’IA le plus fiable». Une lecture attentive du site nuance déjà ce taux, qui ne s’applique qu’à la détection de textes générés par IA, tandis que le degré de fiabilité de la détection d’images n’est pas affiché.
Pour autant, dans un premier temps, la dizaine de tests réalisés par CheckNews sur certaines images générées par l’IA de Bing, Midjourney et ChatGPT, sans aucune manipulation et dans leur format d’origine, donne des résultats concluants. Tous nos tests ont permis à Winston AI de déceler correctement le fait que nos images étaient générées par IA. Par exemple, la fausse image d’un prétendu oscar retrouvé intact dans la maison de Robert Redford, qui avait beaucoup circulé sur les réseaux sociaux en janvier lors des feux de Los Angeles, est détectée à 100% comme étant générée par une intelligence artificielle, selon l’entreprise québécoise.
Pour chacune des analyses, Winston AI, comme les autres détecteurs, affiche deux pourcentages : l’un concerne le taux de probabilité que l’image soit générée par IA et l’autre par un humain.
Winston AI hallucine
Les détecteurs d’images IA peuvent mobiliser toute une série d’approches pour parvenir à leurs fins : la localisation d’anomalies dans la structure des images, l’utilisation d’IA qui teste la reproductibilité de l’image ou encore la détection d’un marquage volontaire apposé sur les images par certaines entreprises pour garantir leur authenticité.
Mais, «plus l’image est éloignée de son origine, plus il est probable qu’un logiciel de détection ne la reconnaisse pas», analyse Alexios Mantzarlis, directeur d’une cellule à l’université Cornell visant à prévenir les dommages numériques. «La compression, le recadrage, le transfert d’un appareil à un autre, l’effacement des métadonnées, les changements de format, le redimensionnement (idéalement tous ensemble) sont susceptibles d’avoir un effet.»
CheckNews a donc récupéré les mêmes images initialement testées sans manipulation, en les compressant légèrement via une conversion en jpeg – un format de référence pour les images digitales. Cette fois, l’une des images générées par IA, représentant un homme en gilet orange, est détectée à 99 % comme émanant d’un humain d’après Winston AI.
En apposant cette fois un léger filtre de couleur sur ces mêmes images, Winston AI «hallucine» sur deux d’entre elles, qu’il estime être à 30% de probabilité humaine. C’est notamment le cas de la fameuse image du faux oscar de Robert Redford retrouvé dans les cendres, qui n’a pourtant été que légèrement recadrée et recouverte d’un filtre sépia. De la même manière, le journaliste spécialisé dans la tech et les IA génératives Gerald Holubowicz, consulté par CheckNews, a manipulé via Photoshop une autre image IA. Passée à la moulinette de Winston AI, elle est estimée par le logiciel comme très probablement humaine, à 70%.
«La probabilité d’obtenir un résultat inexact devrait être de 2 tous les 10 000 essais»
Autre problème pour ces détecteurs d’images IA, «ils ne fonctionnent correctement que sur des images provenant d’un modèle qu’ils connaissent et sur lequel ils sont entraînés», explique Ewa Kijak. Par exemple, lorsque nous réalisons une série de tests avec la base de données d’images IA Cifake (laquelle comporte à la fois des vraies images, d’origine humaine, et des images générées par IA), Winston AI échoue presque à chaque fois à détecter correctement la différence. Sur dix essais, WinstonAi réussit une seule fois à détecter qu’il s’agit d’une image IA, avec un taux de probabilité de 70%. Contacté par CheckNews, l’entreprise répond que la partie humaine de cette base de données comporte des images dont le format (32x32 pixels) n’est pas pris en compte par leur IA. «C’est trop petit pour que notre logiciel l’analyse. Nous nous en excusons, le système aurait dû les rejeter.» A la suite de notre échange, l’entreprise assure qu’elle modifiera le logiciel en ce sens.
«Il est évident qu’il faut effectuer des tests plus importants pour se prononcer sérieusement sur la précision d’un outil, mais la probabilité d’obtenir un résultat inexact devrait être de 2 tous les 10 000 essais», explique Alexios Mantzarlis. Avant de poursuivre, «les développeurs auxquels je fais confiance sont ceux qui sont clairs sur la nature probabiliste de leur verdict et transparents sur comment et pourquoi ils sont confiants ou non sur le fait qu’une image ait été générée par l’IA».
Par ailleurs, Alexios Mantzarlis a raconté dans sa newsletter «FakedUp» être parvenu à tromper Winston AI une fois sur deux avec les six essais gratuits du logiciel, sans même procéder à une manipulation des images. «J’ai simplement veillé à ce qu’elles proviennent de différents endroits (par exemple, WhatsApp, mon téléphone, Internet, Facebook, mon mail)». Sur ce point Winston AI souligne qu’une partie des images utilisées par le chercheur ont été générées par Grok (l’IA développée par Elon Musk). «La détection d’IA est un jeu de chat et de souris constant, à chaque nouveau modèle nous devons ré-entrainer notre IA», explique l’équipe du logiciel, «dans ce cas-ci, la génération d’image de Grok est tellement récente que nous n’avons pas encore accès à leur API public [l’interface qui permet de connecter deux logiciels ou services, ndlr] pour générer des datasets significatifs.
Les «hallucinations» de Winston AI sont tout aussi flagrantes pour des images réalisées sans l’aide de l’IA. C’est particulièrement le cas pour les dessins ou peintures hyperréalistes, dont la reproduction à l’iPad d’un portrait de Morgan Freeman est un exemple bien connu. Sur dix essais réalisés par CheckNews sur ce type d’illustration, Winston AI ne détecte correctement qu’à deux reprises que ces images sont d’origine humaine, avec un taux de probabilité oscillant entre 58% et 98%. L’illustration de Morgan Freeman, quant à elle, est détectée à 92% comme étant générée par IA.
Enfin, l’analyse des «vraies» images, même sans manipulation ou hyperréalisme, s’avère aussi difficile pour Winston AI. Sur dix «vraies» photos lambda soumises au logiciel par CheckNews, trois voire quatre d’entre elles affichent un haut taux de probabilité de génération de ces images par IA. L’une est pourtant une vraie photo du schéma d’un appareil génital sur une table, que Winston AI décèle à 98% comme étant généré par IA. Idem pour une photo en noir et blanc de l’anthropologue Nicolas Nova (37% IA), une image d’Adrien Brody et Felicity Jones dans le film The Brutalist(44 % IA) ou encore une photo des dignitaires présents au sommet pour l’action sur l’IA (14 % IA).
Sur l’ensemble de notre démonstration, Winston Ai pense savoir que nous avons réalisé nos tests sur une version «beta». L’entreprise assure qu’elle a lancé un nouveau modèle depuis lundi 10 février, «à jour de détection», pour être davantage performant. Côté CheckNews, les tests réalisés sur les images générées par IA sans aucune manipulation et dans leur format d’origine ainsi que celles converties en jpeg ont été réalisés avant le 10 février. Mais tous les autres tests ont été réalisés après cette date.