Un chatbot peut-il vérifier la fiabilité de ses réponses ?

Un chatbot reposant sur un LLM peut-il évaluer la fiabilité des réponses qu'il donne. Un participant à l'une de mes formations hier lui a posé la question. C'était très prometteur...

Je formais un petit groupe sur les usages avancés de l'IA générative pour le SEO (pas sur la génération de contenu, mais plutôt sur les travaux d'analyse antérieurs et postérieurs à l'opération de référencement).

Evidemment, je souligne l'importance de prendre du recul sur les réponses de ChatGPT et de ses frères.

Et l'un des participants cogite et lui demande s'il est sur de la réponse qu'il a fourni. Il répond qu'il est plutôt certain et parvient même à justifier le fait qu'il soit certain.

Son argumentation semblait crédible et nous avons fair deux ou trois tests, dans la foulée: cela fonctionnait bien.

Du coup, je refais des tests ce matin et, là, patatras, voici ce qu'il me répond sur la question sur laquelle tous les chatbots qui utilisent les modèles GPT se plantent.

J'ai écrit, il y a très longtemps, un ouvrage intitulé "Le Papillon Digital", sur la transformation digitale, encore disponible sur Amazon, qui est une source de données ChatGPT qui, de plus, présente les infos sur les livres et auteur de façon structurée.

Mais, depuis ses débuts, ChatGPT dans toutes ses versions s'entête à en attribuer la paternié à des auteurs réels ou imaginaires.

Aucune raison à cela: aucun autre ouvrage ne s'intitule "Papillon Digital".

J'ai, donc, demandé à ChatGPT le niveau de fiabilité de sa réponse.

Il est certain à 95% que mon livre a été écrit par un autre (enfin, deux autres pour être exact).

Il fonde sa certitude sur le fait qu'il a trouvé l'information sur des sources fiables: "Amazon.fr" et "Gallimard.fr" qui lui ont fourni l'information (ce qui est totalement faux).

Avec les chatbots, faites comme avec les humains:
- Ecoutez tous les sons de cloche
- Essayez de remonter aux sources primaires
- Recoupez les informations
- Considérez leurs réponses comme relatives

Bref, exercez votre esprit critique.

J'aurais aimé que cette méthode d'auto-évaluation, imaginée par l'un des stagiaires, fonctionne car cela nous aurait retiré une épine du pied.

Reste à trouver la réponse à une question que nous posions tous hier: pourquoi aucun indice de fiabilité n'est-il affiché sur ChatGPT ?

Je vous ai joins la réponse de ChatGPT dans la seconde photo d'écran.