Meilleure conversation
Avez-vous déjà tenté de discuter avec un chatbot ? Si oui, vous aurez remarqué que même les avancées les plus récentes demeurent parfois décevantes. Ces systèmes, bien que sophistiqués, ont souvent tendance à offrir des réponses qui manquent de sens ou qui sont trop générales.
Cependant, Google a récemment lancé Meena, un nouveau chatbot qu’il considère comme plus performant que les précédents qu’il a testés. L’entreprise soutient sa revendication avec un nouvel indice conçu pour mesurer l’aptitude conversationnelle des intelligences artificielles.
Évaluation de la conversation
Pour évaluer son chatbot, Google a mis au point une méthode appelée Sensibleness and Specificity Average (SSA). Cette démarche a été décrite dans un document publié sur le serveur arXiv.
Pour créer cette évaluation, Google a demandé à des travailleurs humains de tenir environ 100 discussions libres avec Meena et d’autres chatbots. À chaque fois que Meena répondait, les participants devaient évaluer deux aspects de la réponse donnée.
Dans un premier temps, ils devaient se poser la question : la réponse a-t-elle du sens sur le plan logique et contextuel ? Si la réponse était positive, ils devaient ensuite déterminer si celle-ci était spécifique à la conversation en cours. L’objectif était d’éliminer les réponses trop générales. Par exemple, si quelqu’un mentionnait une passion pour le tennis et que le chatbot rétorquait simplement “C’est bien”, cela aurait été considéré comme non spécifique.
Près de l’humain
Les résultats ont révélé qu’un humain lambda obtiendrait un score SSA moyen de 86 %. Dans l’étude, les autres chatbots se sont classés avec des scores variant entre 31 % et 56 %. Meena, pour sa part, a obtenu un score de 79 %, la plaçant ainsi plus près du niveau de conversation humain que ses homologues.
À lire davantage : Meena est la tentative de Google de créer une IA conversationnelle authentique [VentureBeat].
Plus d’informations sur les chatbots : Taylor Swift aurait menacé Microsoft à cause d’un chatbot raciste.
FAQ
Qu’est-ce qui distingue Meena des autres chatbots ?
Meena est conçu pour avoir des conversations plus fluides et naturelles, en se basant sur une évaluation complète de la pertinence contextuelle de ses réponses.
Comment fonctionne le score SSA ?
Le score SSA est calculé en jugeant la logique et la spécificité des réponses lors d’interactions humaines, garantissant ainsi que le chatbot peut suivre une conversation de manière pertinente.
Quels sont les risques des chatbots actuels ?
Les chatbots peuvent parfois produire des réponses inappropriées ou biaisées, ce qui pose des questions éthiques sur leur utilisation dans des contextes sensibles.
Qui a créé Meena ?
Meena a été développé par Google, dans le cadre de ses recherches sur l’intelligence artificielle et le traitement du langage naturel.
Comment peut-on s’inscrire pour des mises à jour concernant les innovations de Google ?
Il suffit de s’inscrire à la newsletter de Google via leur plateforme officielle pour recevoir les dernières nouvelles et innovations en matière de technologie et de sciences.
