En bref
- Les détecteurs d’écriture IA comme Pangram, Grammarly ou TextGuardAI promettent d’identifier les textes générés, mais leurs résultats divergent et produisent des faux positifs, y compris sur des œuvres antérieures à ChatGPT.
- L'auteur Thélyson Orélien, dont le roman «C’était ça ou mourir» est accusé sur X d’avoir été écrit par IA, conteste ces accusations avec l’appui de Grasset, tandis que d’autres autrices dénoncent des accusations similaires.
- Des indices existent pour débusquer l'écriture IA, selon une étude de «The Economist»: jargon, mots longs, peu de ponctuation, phrases monotones et constructions répétées, mais rien ne permet pour l’heure de le prouver avec certitude.
Si vous vous épanchez auprès de ChatGPT ou Claude, vous avez probablement identifié quelques «tics» d'écriture spécifiques à chaque robot: ChatGPT, par exemple, raffole des connecteurs logiques, de l'adverbe «doucement», qui inondent, comme par magie, les coins les plus improbables des réseaux sociaux. En anglais, le verbe «to delve» («explorer» ou «plonger dans un thème») est employé de manière si courante par les chatbots que cela en devient grotesque.
En théorie, l'écriture IA devrait donc être facile à débusquer, non? Pas du tout, malheureusement, puisque les humains utilisent, eux-aussi, ces mêmes mots favoris. Et puisqu'il suffit de leur demander de reprendre la tournure d'un écrivain célèbre pour voir lesdits robots se perdre dans un exercice de mimétisme des plus troublants. Seuls les étranges dizains d'amour de l'obscur Maurice Scève, presque incompréhensibles aux plus farouches des chercheurs en littérature, tiennent une chance de rester inimitables. Et encore.
Le cas de Thélyson Orélien
Promettant de résister à ces mimétismes, des outils comme Pangram, Grammarly ou TextGuardAI vantent leur capacité à identifier l'écriture IA. Leur fonctionnement est simple: lorsqu'on leur soumet un texte ou même un corpus, ces algorithmes leur flanquent une note, sous la forme d'un pourcentage. Par exemple, «ce texte a 65% de chance d'avoir été réalisé par une IA». Le problème est que ces différents outils, désormais pléthore, ne sont jamais d'accord entre eux et que, d'après les auteurs passés au crible, ils se trompent très souvent, affirmant que des textes rédigés avant l'invention de l'IA ont été générés par des robots. Et ce même si Pangram, le plus connu, se vante d'atteindre une précision de 99.98%.
L'auteur canado-haïtien de 38 ans Thélyson Orélien en fait actuellement les frais. Son roman «C'était ça ou mourir», publié chez Grasset et désormais retiré du prix Goncourt a été accusé par le compte X «Balance ton Claude» d'avoir totalement généré son oeuvre avec une IA. Réfutant ces accusations, l'écrivain prépare actuellement un robuste dossier, soutenu par son éditeur, afin de prouver qu'il a écrit chaque ligne de sa plume. A noter que des cas similaires ont déjà secoué le monde littéraire américain, notamment avec l'autrice Mia Ballard et son thriller «Shy Girl».
«L'IA estime que c'est elle la créatrice et nous les copieurs»
Plusieurs autrices et auteurs français, scandalisés par le cas de Thélyson Orélien, se relaient désormais pour critiquer les résultats douteux de Pangram et consorts. Virginie Grimaldi, également accusée sur X d'avoir généré ses romans grâce à une intelligence artificielle, a notamment raconté son expérience dans un post Instagram empreint de colère: elle se dit «intransigeante» à ce sujet, souligne qu'elle «déteste la tricherie» et décrit la joie de «trouver le mot juste».
Même son de cloche pour l'autrice Sophie Jomain, qui s'est volontairement prêtée à l'exercice en soumettant elle-même l'un de ses romans à une plateforme de détection. Résultat: un roman qu'elle a publié en 2009 (bien avant l'ère de ChatGPT) affiche 92% de chances d'avoir été généré par un robot. «Une IA qui a copié nos textes un jour et s'est approprié nos styles, nos idées et nos mots, estime aujourd'hui que c'est elle la créatrice et nous les copieurs», s'alarme-t-elle, aussi sur Instagram.
Peut-on débusquer l'écriture IA par nous-mêmes?
Dans les commentaires de ces différents posts, des centaines d'internautes soulignent qu'en soumettant des textes à ces outils, on contribue à «nourrir» l'IA, qui pourra ensuite perfectionner ses capacités de mimétisme et poursuivre le cycle. L'idée inquiète, bien sûr, puisque l'intelligence artificielle a déjà accès à énormément de contenus humains. Et même la proposition d'Anthropic de marquer les textes IA par un système de «filigranes» (une sorte d'encre invisible) pour les démarquer ne rassure pas beaucoup: ainsi que le soulignait «Le Temps», ces systèmes pourraient, à terme, être facilement contournés.
Mais peut-on, par nous-mêmes, repérer une écriture IA sans «nourrir» les algorithmes comme Pangram? Oui et non, pointe le prestigieux magazine «The Economist», qui a réalisé sa propre étude, en soumettant un large corpus de ses propres articles à différentes intelligences artificielles (ChatGPT, Claude, Gemini et Grok). L'équipe leur a ensuite demandé de rédiger leurs propres versions de ces papiers, sans consulter le Web. En analysant le traitement de 1,2 million de mots, l'équipe a souligné plusieurs particularités de l'écriture IA, en comparaison avec le style humain.
Beaucoup de syllabes et une ponctuation défaillante
«Nos conclusions sont surprenantes, note «The Economist». La prose générée par l’IA se distingue par le choix des mots et de la ponctuation, ainsi que par la structure des phrases et des paragraphes. Mais ses caractéristiques ne sont pas celles auxquelles on pourrait s’attendre, en partie parce que son style d’écriture a évolué au fil des mises à jour logicielles.» Or, selon le média américain, les modèles de langage à grande échelle (LLM) ne sont pas de grands écrivains pour autant: «Leur prose manque de clarté et d’élégance, et est souvent stéréotypée.»
Parmi les caractéristiques de l'écriture IA – qui varie sensiblement d'un outil à l'autre – on compte notamment une utilisation excessive de jargon scientifique, de mots polysyllabiques ou rares («interdépendance», «réindustrialisation»), que les humains n'emploient pas naturellement. En d'autres termes, les robots avancent des idées simples de manière inutilement compliquée, avec un surplus de mots très longs.
Par ailleurs, ils seraient également nuls en ponctuation: «Un bon moyen de repérer les textes générés par l’IA serait de rechercher ceux qui ne comportent pratiquement aucune ponctuation», pointe «The Economist». En effet, les différentes IA testées utilisent moins de virgules que les humains, snobent les parenthèses et adorent les phrases à rallonges truffées du connecteur logique «et» (leur mot le plus utilisé!).
«Ce n'est pas X, mais Y»
Il semble également que l'IA soit repérable par une monotonie dans la longueur de ses phrases. Quasiment toujours longues, sans interruptions de rythme, elles s'appuient sur des tournures identiques, qui réapparaissent encore et encore. Parmi celles-ci, on trouve le fameux «ce n'est pas X, mais Y», ou encore «Ce n'est pas parce que X, mais parce que Y».
Idem pour les idées présentées par groupes de trois, pour les rendre plus engageantes: «Sur 1000 phrases, ChatGPT et Claude utilisent ce genre de construction beaucoup plus souvent que les humains», note encore «The Economist». Ainsi, lorsque vous aurez l'impression qu'un post LinkedIn ou Instagram aura un petit ton de ChatGPT, vous saurez pourquoi. Mais le problème principal subsiste: cela reste, pour l'heure, impossible à prouver!