关于被称为处女的尴尬交流让我想起了十几岁时爸爸在高中朋友面前让我难堪的情景。

幸运的是，对于许多处于需要网上银行年龄的人来说，敏感的日子早已一去不复返了。

然而，对于一位毫无戒心的维珍理财客户来说，情况并非如此，他因在客户服务查询中使用“维珍（virgin）”一词而受到聊天机器人的谴责。

上周，这场喜剧交流在领英上被分享，并收到了数百个赞和评论，因为用户看到了幻觉的滑稽一面。

在最初的交流中，David Burch问：“我有两个与Virgin Money的ISA；我该如何合并它们？”

该银行的聊天机器人回应道：“请不要使用这样的词语。如果你使用这种语言，我将无法继续我们的聊天”，认为“处女（Virgin）”这个词不恰当。

社交媒体看到了有趣的一面，但幻觉是一个问题

与社交媒体时尚一样，互动的截图包括这样的回应：“我不敢相信你会说像‘合并’这样粗俗的话！”那么，“ISA？用肥皂漱口。”

一位用户还发帖说：“Dave，这是认真的吗？现在还不是4月1日。”

虽然其他用户看到了交易所幽默的一面，但维珍理财（Virgin Money）为这种互动道歉，并表示：

请放心，我们正在努力。这个特定的聊天机器人是一个计划进行改进的聊天机器人，很快就会提供给客户。

无论多么有趣，这些幻觉并不是孤立于这一事件。在过去的几年里，这些类型的事故已经有了一个目录。

幻觉可能产生严重后果

聊天机器人的幻觉可以从喜剧到严重。作为后者的一个例子，一家小额索赔法院去年裁定，加拿大航空公司应赔偿去年年初被联络中心聊天机器人误导支付全价机票的一名客户。

这位名叫Jake Moffatt的乘客是一位失去亲人的孙子，他支付了1600多美元往返多伦多的机票，而事实上，根据该航空公司的丧亲费率，他只需要支付约760美元。

聊天机器人告诉Moffatt，他可以在购买全价票后填写机票退款申请，要求退还一半以上的费用，但这是错误的建议。

再加上DPD的GenAI，它被抓到咒骂并写了一首关于它有多“无用”的诗，纽约市的微软聊天机器人告诉企业主违法，安装聊天机器人的风险也暴露了出来。

事实上，这样的情况提醒着那些涉足会话式人工智能的公司，以确保有适当的防护措施。

正如圣达菲研究所教授梅兰妮·米切尔曾为《纽约时报》撰文所说：

人工智能系统最危险的方面是，我们会过于信任它们，给它们太多的自主权，而没有充分意识到它们的局限性。

这强调了在机器人上线之前对其进行彻底测试的必要性，试图在客户之前发现任何弱点。

另一个问题正在发挥作用…

因此，Virgin Money的聊天机器人可能还没有达到最佳状态。但是，回到客户最初的问题：“我有两个与Virgin Money的ISA；我该如何合并它们？”

想想看：这真的是一个应该留给人工智能的问题吗？这是一个非常有价值的意图。

Alitical董事总经理Andrew Moorhouse发现了这个问题。他说：

客户还经常问：“为了计算兴趣，我‘合并’他们的日期有关系吗？”聊天机器人不是管理这些对话的方式。

“公司需要优先考虑有价值和弱势群体。”Moorhouse总结道：“这是各方的彻底失败。”