Test de Google Bard (update de septembre 2023)

Google Bard m'a fait découvrir un nouveau concept: "les hallucinations personnalisées".

Il m'a indiqué que Google AI m'avait convoqué à un rendez-vous pour un poste de chercheur en IA, après que j'ai activé les "Bard Extensions" pour voir s'il parvenait réellement à fouiller mes documents Gmail et Google Drive.

Eh bien, c'est pas gagné 😁

Hier soir, j'ai voulu tester les "Bard extensions" qui permettent normalement à Bard de répondre en s'appuyant sur les documents Google Drive et nos emails Gmail.

En théorie, il doit pouvoir, au minimum, trouver des emails, les résumer et faire la même chose avec les documents de Google Docs et Drive.

Mouai, mouai, mouai...

Soit je suis un chat noir, soit je suis un âne, soit il y a deux ou trois bugs.

Il a halluciné sur 100% des questions que je lui ai posées relatives à des informations qui se trouvaient dans ma messagerie Gmail.

Il aurait pu me dire qu'il ne trouvait pas l'infos.

Il aurait pu me dire qu'il n'avait pas eu le temps d'indexer mes données (je venais d'activer la "Bard extension" pour Google Workspace qui lui permet d'indexer le contenu de Gmail, de Google Docs et des autres services Google).

Mais il a tenu à me répondre, en dépit du bon sens.

Lorsque je lui ai demandé de me trouver un email de "Christine", i

l m'a répondu en inventant, de toutes pièces, un email (que je n'avais jamais reçu) et en le datant de la minute à laquelle je lui avais posé la question.

Lorsque je lui ai demandé de trouver la dernière invitation à un rendez-vous que j'avais reçue par email, même hallucination: il a inventé un rendez-vous chez Pole Emploi pour m'aider à trouver un travail !!!

Or, je ne cherche évidemment pas de travail, mais surtout, je n'ai eu aucun échange avec Pole Emploi sur cette boîte email, ni en tant que chercheur d'emploi, ni en tant que recruteur.

J'ai formulé et reformulé ma question de façon de plus en plus précise, pour l'aiguiller.

"Quelle est la dernière invitation à un rendez-vous que j'ai reçue sur Gmail ?"

Cette fois-ci, il m'a indiqué que j'avais reçu une demande de rendez-vous de "Google AI" pour un entretien d'embauche pour un poste de chercheur en IA !

J'ai pensé à recharger Bard parce qu'il en avait peut-être besoin pour réellement activer l'option Bard Extensions / Google Workspace (gmail, drive...), mais cela n'a rien changé: il a continué à halluciner.

C'est intéressant alors que dans l'interview "exclusive" accordée à Ouest France hier, le créateur de Bard, Jack Krawzyck affirmait:

"Bard peut créer des contenus dont il n’est pas sûr. Maintenant, il est prêt à admettre qu’il s’est trompé sur tel ou tel point. Cela nous permet de renforcer la confiance. Cette possibilité est accessible en France, mais en anglais pour le moment."

Soit le journaliste a mal compris, soit Jack s'est trompé, soit Bard s'est trompé.

Ou moi 😉

Et dire que j'écrivais il y a deux jours que ce nouveau Bard allait peut-être permettre à Google de refaire son retard sur OpenAI...