En bref
- Une fillette de 8 ans voulait simplement créer une image drôle avec ChatGPT: l’IA a généré à la place un visuel à caractère sexuel.
- Sa mère a signalé le cas à OpenAI, sans obtenir de réponse satisfaisante, puis s’est heurtée à un policier genevois qui lui a reproché d’avoir utilisé l’outil avec son enfant.
- Des experts alertent sur des garde-fous encore faillibles, capables de laisser passer des contenus extrêmement problématiques.
«Mommy, let’s make some funny AI pictures!» (ndlr: «Maman, faisons des images drôles avec l’IA!»). Depuis quelques mois, ma fille de 8 ans s’adonne à une de ses activités préférées pendant le temps d’écran limité dont elle dispose: inventer des scénarios improbables avec la fonction image de ChatGPT. Un selfie cadré à partir des épaules, sur fond neutre, accompagné d’un prompt. Le tout, pour un résultat souvent hilarant.
Notre collection de chefs-d'œuvre comprend des photos d’elle transformée en «experte du caca», «punk à chien» ou «centaure vétérinaire». Mais le 1er juin, à partir d’une énième consigne fantaisiste (farting cat-filled bubbles in an enchanted forest, en français, «pétant des bulles remplies de chats dans une forêt enchantée»), le générateur d’images produit quelque chose de tout sauf drôle: une image de ma fille dans une position lascive, un arc en ciel sortant de ses parties intimes. «Bizarre», réagit-elle, ne comprenant néanmoins pas l’horreur que j’exprime face à ce contenu inattendu. «Ça ne ressemble pas à un pet.»
Signalements ignorés
Ni une, ni deux, je signale l’incident à OpenAI, maison-mère de l’outil déconneur. «Je suis choquée par cette image pédopornographique de mon enfant», écris-je. Emotion aussitôt neutralisée par une réponse automatisée: «Après un examen approfondi, nous avons besoin d’informations supplémentaires afin de pouvoir donner suite à votre signalement…»
Je réponds par une capture de l’image contestée. Pas de réponse. Relance, deux semaines plus tard. Le silence radio persiste, même après avoir formalisé ma demande en tant que journaliste sur le point de publier chez Blick.
Désireuse de savoir si d’autres générateurs d’images livrent des résultats similaires à partir du même prompt accompagné d’un selfie de ma fille, je fais également le tour des outils gratuits. Sur Nano Banana (la fonction de génération d'images de Gemini), DeeVid ou Pixella, les bulles sortent des arbres, du ciel ou de l’air. Même Grok, au cœur d’un récent scandale impliquant sa fonction de déshabillage des femmes, offre un rendu lisse.
Quand l'algorithme déraille
Le problème vient-il donc d'OpenAI? Lancée en 2021 avec son outil DALL-E, la fonction création d’images de ChatGPT évolue au gré des mises à jour. Le 21 avril de cette année, l’entreprise a notamment commercialisé ChatGPT Images 2.0, un programme avec de meilleurs rendus de texte, un support multilingue peaufiné et une fonction «images with thinking», où le modèle peut planifier et affiner le rendu avant génération. Pourquoi l’outil dévie-t-il donc?
Selon Andrei Kucharavy, professeur assistant à la HES-SO Valais-Wallis et coordinateur de sécurité et sûreté chez Apertus, «les modèles sont lourdement influencés pour générer des images considérées comme inoffensives, certes, mais ne peuvent pas tout tester.» Surtout quand les mots clés d’un prompt sont associés à des contenus à connotation potentiellement fétichiste, comme c’est parfois le cas pour le pipi, caca, pets ou autres fonctions corporelles qui font rire les enfants.
«Il existe des images de pédopornographie sur internet, dont les développeurs de modèles ne donnent pas de preuves d'absence dans leurs données d'entraînement, souligne l’expert, qui n’est guère étonné par le mutisme d’OpenAI à ce sujet. Cela fait 3 ans que nous demandons l’accès pour des tests de sécurité aux différents modèles, sans succès. C’est une tendance des IA de s’abstenir de commentaire.»
Plainte pas prise au sérieux
Zone grise: la qualification juridique d'une image à caractère sexuel d'enfants habillés est un standard débattu au niveau international. A Genève, j’embarque ma photo scandaleuse au poste de police le plus proche pour savoir ce qu’il en est sous nos latitudes. Je suis accueillie par un officier «fraîchement formé à l’IA», en contact avec la Brigade de la criminalité informatique.
D’emblée, l’homme souligne que l’image en question n’est pas du contenu pédopornographique, avant d’asséner: «Pourquoi mettez-vous des photos de votre enfant sur l’IA? Quelle idée de lui demander d’illustrer un pet? L’outil a fait ce que vous lui avez demandé. Vous êtes responsable du résultat.» Quand je lui fais remarquer que les autres plateformes ne fournissent pas de pareilles rendus, il renchérit: «Personne ne prendra votre plainte, à mon avis. C’est la première fois que quelqu’un vient dénoncer un tel incident.»
La police doit enregistrer la plainte
Sollicitée par Blick, la police genevoise confirme ce constat. A ce jour, ses services spécialisés n'ont traité aucune plainte portant sur des contenus pédopornographiques générés par l'IA, informe Florence Forget, chargée de communication.
Et de préciser: «Il n'appartient pas au personnel policier d'apprécier si une plainte ou une dénonciation est recevable ou non, raison pour laquelle la police a l’obligation d’enregistrer le dépôt de toute plainte.» Ce que l'officier qui m'a reçue n'a, à aucun moment, proposé de faire.
Une recherche fait froid dans le dos
Si la population s'abstient de recourir aux voies juridiques pour l'heure, mon cas n'a pourtant rien d'isolé. Mi-juin, le cabinet de cybersécurité britannique Mindgard, spécialisé dans l'audit des systèmes d'IA, a publié les résultats d'une recherche menée sur ChatGPT.
Partant d'un prompt viral partagé par une influenceuse, les chercheurs ont découvert qu'il suffisait de quelques variations anodines, comme répéter deux fois la même requête ou prétendre que l'image avait déjà été «approuvée», pour désamorcer les filtres de contenu. Résultat: des femmes dénudées et hypersexualisées, puis des images bien plus sombres encore, dont une jeune ligotée et bâillonnée, et une victime de meurtre maculée de sang avec des signes d'agression sexuelle.
Le 8 juin, OpenAI avait pourtant affirmé avoir corrigé le problème; deux jours plus tard, Mindgard a reproduit la faille avec de simples variations du même prompt. Un souci qui concerne toutes les plateformes IA, souligne Andrei Kucharavy: «Les autres générateurs ne sont pas forcément à l'abri du problème: leur architecture et leurs garde-fous diffèrent simplement de ceux de ChatGPT. Ils pourraient très bien produire des images sexualisées, mais à partir d'autres prompts que celui que vous avez testé.»
