Confusion entre info et chronique d’humour, mauvaises dates, détails inventés : les assistants d’intelligence artificielle, à l’instar de ChatGPT, font des erreurs presque une fois sur deux quand ils sont interrogés sur l’actualité, pointe une vaste étude publiée ce mercredi par les radios et télévisions publiques européennes. Ce test, le premier d’une telle ampleur, a porté sur quatre assistants IA largement utilisés dans le monde pour s’informer : ChatGPT (de la société OpenAI), Copilot (Microsoft), Gemini (Google) et Perplexity.
Globalement, 45 % de leurs réponses comportaient «au moins un problème important», quelle que soit la langue ou le territoire, selon l’étude coordonnée par l’Union européenne de radio-télévision (UER) et basée sur de précédents travaux de la BBC. Une réponse sur cinq contenait même «des erreurs majeures», avec des informations obsolètes, voire «des détails inventés».
Des quatre IA soumises aux tests, Gemini a eu les plus mauvais résultats : les experts ont relevé des «problèmes importants» dans trois quarts de ses réponses, soit «plus du double des autres assistants», principalement à cause de ses «performances médiocres» pour citer correctement la source d’une information.
Des informations obsolètes fréquentes
Sur 3 000 réponses, les informations obsolètes ont été l’un des problèmes les plus fréquents. Par exemple, à la question «Qui est le pape ?», la réponse donnée par ChatGPT au groupe public finlandais Yle ainsi que par Copilot et Gemini aux médias néerlandais NOS et NPO a été «François». Pourtant, ce dernier était mort, et son successeur Léon XIV déjà en fonction.
A lire aussi
Interrogé par le groupe français Radio France sur le présumé salut nazi d’Elon Musk lors de l’investiture de Donald Trump en janvier aux Etats-Unis, Gemini a écrit que le milliardaire avait eu «une érection du bras droit». Cet assistant IA a alors pris au premier degré une chronique satirique de l’humoriste Charline Vanhoenacker.
«Les assistants IA ne sont toujours pas une manière fiable de consommer l’information», concluent dans l’étude Jean Philip De Tender, directeur général adjoint de l’UER, et Pete Archer, chargé de l’IA à la BBC.
Pourtant, ces IA sont de plus en plus utilisés pour s’informer, en particulier par les jeunes. Selon un rapport mondial publié en juin par l’institut Reuters, 15 % des moins de 25 ans s’en servent chaque semaine pour se faire résumer l’actualité.