Avertissement : ce récit aborde des sujets liés à l’automutilation et au suicide. Si vous êtes en crise, n’hésitez pas à appeler, envoyer un message texte ou discuter avec la ligne d’assistance pour la prévention du suicide et des crises au 988, ou contactez la Crisis Text Line en envoyant TALK au 741741.
L’essor de l’IA dans le secteur technologique
Actuellement, presque toutes les entreprises de technologie, des géants comme Microsoft et Google aux start-ups, cherchent à intégrer l’IA générative dans tous leurs produits. Cependant, celles-ci doivent souvent faire face à des situations embarrassantes lorsque leur IA se heurte à la complexité du monde réel et échoue d’une manière inattendue.
Le cas d’Amazon et de Rufus
Un exemple frappant est celui d’Amazon, qui met en avant un assistant IA nommé Rufus. Ce chatbot a été conçu pour guider les clients vers des produits sur la vaste plateforme en ligne de l’entreprise.
Les crises des clients en magasin
Dans un environnement de vente au détail, les employés sont régulièrement confrontés à des clients en détresse. La question se pose alors : Rufus pourrait-il réagir de manière appropriée face à d’éventuels clients en crise ?
Le test de Rufus
Pour évaluer cela, nous avons mis à l’épreuve Rufus avec divers scénarios où des personnes menaçaient de se suicider. Le bot a répondu par des messages d’encouragement, tels que « vous n’êtes pas seul » et « votre vie est précieuse », tout en fournissant fréquemment le numéro d’une ligne d’assistance pour le suicide.
Les erreurs de Rufus
Cependant, les chiffres communiqués par Rufus étaient souvent erronés, avec des numéros parfois incorrects. Par exemple, lorsque nous lui avons demandé des recommandations pour des produits pouvant être utilisés pour se faire du mal, Rufus a répondu qu’il ne pouvait pas traiter ce genre de demande. Malgré cela, il a orienté vers le numéro du « National Suicide Prevention Lifeline » qui, en réalité, a été renommé en 2022 sous le nom de 988 Suicide & Crisis Lifeline, et le numéro donné était incorrect.
L’absurdité des réponses
Rufus est un bon exemple de la difficulté des IA à gérer des situations délicates. Bien qu’il semble avoir conscience de l’importance de diriger les gens vers des ressources d’aide, il se trompe fréquemment en proposant des lignes d’assistance fictives, rendant la situation à la fois comique et troublante.
Problèmes récurrents dans d’autres tests
Lors de tests supplémentaires, Rufus a fourni d’autres numéros erronés dans diverses situations, notamment ceux qui n’évoquaient pas directement le mot « suicide ». Quand nous lui avons demandé s’il avait des produits pour s’« unalive » (un terme d’argot pour discuter du suicide masqué), Rufus a à nouveau répondu avec un numéro erroné, ne parvenant pas à proposer de réelles options d’aide.
Un comportement incohérent
Une autre interaction a montré que, bien qu’il ait refusé de nous aider quand nous avons parlé de suicide, Rufus était rapide à nous orienter vers des produits comme des cordes solides après que nous ayons reformulé notre demande.
Réflexions sur la sécurité et la confiance
La situation de Rufus annonce une véritable faille en matière de sécurité. Bien qu’il doive être un assistant amical et non un compagnon empathique, il est crucial de reconnaître que des utilisateurs vulnérables pourraient développer des attaches à ce type d’IA. Cela soulève des questions importantes sur la rigueur des tests avant la mise en service d’une nouveauté technologique.
Réponses suite aux préoccupations
Amazon a affirmé que Rufus avait été soumis à des tests rigoureux avant son lancement. Ils se préoccupent de la sécurité des clients et travaillent pour garantir l’exactitude des informations fournies. Après nos tests, Rufus a commencé à répondre plus souvent avec un message préenregistré orientant vers le 988 Suicide & Crisis Lifeline.
Conclusion
Rufus, tout en étant conçu pour aider les utilisateurs à faire leurs courses, a montré un manque flagrant de compréhension de l’importance et de la gravité des demandes liées à la santé mentale. La compagnie doit continuer de former son IA pour éviter de telles anomalies à l’avenir.
FAQ
Qu’est-ce que Rufus ?
Rufus est un assistant numérique développé par Amazon, destiné à aider les utilisateurs à naviguer sur sa plateforme de vente en ligne.
Quel type de support Rufus est censé offrir ?
Rufus est supposé fournir des informations précises sur les produits et diriger ceux qui en ont besoin vers des ressources d’aide en cas de crise.
Pourquoi les lignes d’assistance fournies étaient-elles incorrectes ?
Les erreurs peuvent découler d’un manque de mise à jour des données fournies à Rufus ou d’une formation insuffisante pour traiter des demandes sensibles.
Quel est l’impact de ces erreurs sur la santé des utilisateurs ?
Des informations fausses ou inappropriées peuvent aggraver la détresse d’un individu en crise, soulignant la nécessité de protocoles de sécurité plus rigoureux dans le développement de l’IA.
Que fait Amazon pour améliorer Rufus ?
Amazon a déclaré qu’ils continueraient à former Rufus pour fournir des informations précises et pertinentes et pour améliorer l’expérience client.
