Les outils de détection de textes générés par l'IA ne fonctionnent pas... beaucoup

Pourquoi il ne faut trop compter sur les outils de détection de textes générés par l'IA générative.

Ppourquoi Open AI abandonne le sien.

Et pourquoi ce n'est pas grave.

Toute une kyrielle de détecteurs de textes créés par l'IA générative ont surgi de nulle part, y compris du côté d'OpenAI.

Le fonctionnement de ces outils repose sur le postulat qu'il existe des similarités entre les textes générés par des applications d'IA générative comme ChatGPT.

Par ex, ChatGPT utilise plus souvent qu'un rédacteur humain des expressions comme "il est important de souligner/noter/remarquer...", surtout en fin de texte.

ChatGPT aime, aussi, intégrer des listes d'éléments dans ses réponses.

ChatGPT fait parfois du remplissage avec des phrases constituées de mots très communs.

En simplifiant, les détecteurs de textes générés par l'IA détectent ces tics de language et s'ils en trouvent de trop, en concluent que le texte a probablement été généré par l'IA.

Problème

Je les ai testés en rentrant ma propre prose (100% bio, 0% IA) et ai constaté qu'ils se trompaient très souvent en l'attribuaient à l'IA. Pourtant, mes textes évitaient les tics de language de ChatGPT, contenaient des idées "inédites" , étaient rédigés dans un style non standard et offraient des articulations de discours qui ne ressemblaient à ce que génèrent des outils comme ChatGPT ou Bard.

Je suis loin d'être le seul à avoir fait ce constat.

OpenAI qui avait mis en ligne un de ces détecteurs, l'a définitivement mis hors ligne, il y a quelques jours car il se trompait trop souvent.

1. Cela ne m'étonne pas pour trois raisons.
2. Chaque Chatbot / modèle de langage (et même chaque version de langage-GPT3, GPT4...) fonctionne de façon différente et génère des textes différents.
3. Certains prompts complexes génèrent des textes très différents de ceux que vous avez l'habitude de voir dans ChatGPT et sont très originaux.

Des personnes comme moi, composent des prompts pour "dégépétéiser" les textes, en précisant à ChatGPT d'éviter ses tics de langage, afin d'obtenir des textes qui résisteront aux hypothétiques filtres anti IA de Google.

De toute façon, au final, l'inefficacité de ces outils ne me chagrine pas outre mesure.

1. Dans le cadre d'un usage normal (non malveillant), ChatGPT dit, en moyenne, moins de bétises que le rédacteur web moyen et beaucoup, beaucoup moins de bétise que les utilisateurs des réseaux sociaux, ce qui rend inutile l'usage de détecteurs.
2. Les détecteurs de textes générés par l'IA ne s'intéressent pas, à ma connaissance, à la détection des biais (notamment idéologiques), qui serait beaucoup plus utile.
3. Concernant les usages malveillants: les criminels, voleurs, pirates de même que les commerciaux, lobbyistes ou politiciens verreux n'ont pas besoin de ChatGPT pour créer leurs messages, malheureusement.

Reste le problème de la détection des devoirs écrits par ChatGPT pour lequel je n'ai pas de réponse.