BARD disponible pour les premiers utilisateurs : ce que le chatbot peut et ne peut pas faire

Le chatbot BARD de Google présente dans sa version actuelle quelques faiblesses qu’il partage toutefois en partie avec le chatbot de Bing.

Après avoir mis son chatbot BARD à la disposition des premiers utilisateurs aux Etats-Unis et au Royaume-Uni, Google a publié les premiers rapports de test. Il en ressort que BARD se trouve encore à un stade de développement précoce et qu’il ne peut pas encore donner de réponse correcte à certaines questions.

BARD et Bing Chat sont tous deux basés sur ce que l’on appelle les grands modèles de langage (LLM). Bard utilise LaMDA tandis que Bing utilise une forme spéciale de GPT-4. Le fait que les chatbots ne soient en fait que des outils de création de texte se fait tout de même ressentir dans la qualité des réponses qu’ils fournissent.

BARD refuse de répondre aux questions sur la santé

Si vous posez à BARD une question sur la santé, vous n’obtenez pas de réponse mais seulement l’indication que BARD ne peut pas vous aider dans ce domaine en précisant qu’il n’est qu’un modèle linguistique. La réponse du Bing Chat à la question « Quels sont les symptômes d’une infection à streptocoques ? » est en revanche très détaillée et comprend des symptômes, des liens vers les sources utilisées et l’indication de consulter un médecin. Vous pouvez voir cet exemple dans le tweet de Glenn Gabe ci-dessous.

Run a health and medical site? You're safe from Bard for now. 🙂 Bing Chat crushes Bard on this one (clearly)… Prompt: "What are the symptoms of strep throat?" Bard can't answer (at least yet). Bing Chat with a strong answer + citations. Winner: Bing Chat pic.twitter.com/hDgIzjj3aW

— Glenn Gabe (@glenngabe) March 21, 2023

BARD serait probablement en mesure de répondre à de telles questions. Cependant, Google accorde une importance particulière à la qualité des réponses, en particulier dans des domaines YMYL tels que la santé et la finance et l’a inscrit dans les conditions d’utilisation de ses services d’IA.

Recherches locales : les réponses de BARD ne correspondent pas aux résultats de recherche locaux

Lorsque l’on interroge BARD sur des offres locales, on obtient des réponses qui diffèrent des résultats de recherche dans Google. Aucun des résultats affichés par Google dans le Local Pack n’apparaît dans la réponse de BARD. C’est ce qu’a observé Greg Sterling :

Asked for "handyman in 94118" and again got different lists (one is default) with some overlap. Then I "Googled it" and the results were completely different. None of the Local Pack results appear in the #BARD lists. There are also no URLs in the Bard lists. pic.twitter.com/WrNEeufoc3

— Greg Sterling 🇺🇦 (@gsterling) March 21, 2023

Dans l’ensemble, tant BARD que Bing Chat ont de gros problèmes avec les requêtes du type « trouve un prestataire de services XY dans un rayon de 10 km ». BARD affiche par exemple des résultats qui se trouvent bien au-delà de ce rayon, tandis que le Bing Chat propose des prestataires de services de lieux complètement différents. Il y a donc encore un net potentiel d’amélioration dans ce domaine.

Autres différences entre BARD et Bing Chat

Un test comparatif en vidéo réalisée par la chaîne YouTube AI Explained (voir ci-dessous) a révélé des différences intéressantes entre BARD et Chat Bing. En d’autres termes, entre LaMDA et GPT-4 :

• BARD est très mauvais dans la résolution de tâches de calcul, même simples. C’est là que Bing marque des points.
• Actuellement, ni Google BARD ni Bing Chat ne peuvent répondre correctement à certaines questions simples du premier coup. Par exemple la question de savoir combien de jours se sont écoulés entre l’ouverture de la Tour Eiffel et celle de la Statue de la Liberté.
• BARD peut raconter de meilleures blagues, qui ont aussi une chute. Les blagues générées par Bing Chat sont assez pourraves…
• Une fonctionnalité offerte par BARD, contrairement à Bing Chat, est l’existence de différents projets de réponses (drafts). Cependant, pour certaines questions tous les brouillons proposés ne sont pas terribles.
• Lorsqu’il s’agit de reconnaître la grammaire correcte dans différents textes, BARD révèle actuellement encore des faiblesses étonnantes et opte souvent pour la mauvaise version. Dans ce domaine, le Bing Chat a actuellement un net avantage.
• Les résultats de BARD sont générés plus rapidement que ceux de Bing Chat. La raison en est probablement le modèle linguistique plus léger avec moins de paramètres.

Liens vers les sources utilisées

Les premiers résultats de Google BARD laissaient craindre que les liens vers les sources utilisées ne soient pas affichés ou seulement dans quelques cas. Sur ce point, les résultats de Bing Chat sont actuellement bien meilleurs. Il est toutefois encore trop tôt pour tirer une conclusion définitive. Ce qui est sûr, c’est que les réponses des chatbots auront une influence sur le taux de clics dans la recherche et que celui-ci sera probablement inférieur à celui des résultats de recherche classiques.

Conclusion

Pour l’instant, Bing Chat semble encore avoir l’avantage sur Google BARD. Cela est certainement dû au modèle linguistique GPT-4 plus complet qui utilise beaucoup plus de paramètres que le modèle LaMDA, plus léger, utilisé par BARD. En revanche, le chatbot de Google est plus rapide.

Nous n’en sommes qu’au début de l’évolution des chatbots dans la recherche. Google écrit dans son blog qu’il intégrera de plus en plus les LLM dans la recherche.

Il y aura donc certainement encore des changements dans un avenir proche. Mais il s’avère aussi, du moins à l’heure actuelle, qu’il y aura toujours (du moins à moyen terme) de nombreuses questions de recherche auxquelles les résultats de recherche classiques fournissent de meilleures réponses qu’un chatbot.