聊天机器人犯错并不罕见，但决定制定新的公司政策是另一种人工智能不足。

不幸的是，对于人工智能初创公司Anysphere的人工智能软件编码助手Cursor来说，这正是其聊天机器人在回应最近的客户服务查询时所做的。

在Reddit上分享的一篇帖子中，Cursor用户（BrokenToasterOven）解释说，他们联系了该公司的客户支持部门，因为在切换机器时遇到了问题。

作为回应，一个名为“Sam”的人工智能聊天机器人表示，“Cursor旨在为每个订阅使用一台设备作为核心安全功能。”

用户不知道，此政策并不存在。

为了回应BrokenToasterOven的帖子，许多Reddit用户公开分享了他们的沮丧，并宣布他们将取消Cursor的订阅。

客户将虚假政策描述为“愚蠢”、“可怕”和“令人失望”，其中一人声称这是“绝对不可接受的”。

我一次运行十台机器，我从不使用慢速请求。我不想要十个不同的订阅。我今天要取消订阅，就是这样。

BrokenToasterOven也加入了不满用户的行列，并表示：

“我退出了，就是这样，他们拿走了太多，要求太多，给我们的太少。我们每天都在被剥夺核心功能。”

“再见，伙计们。我建议你们尽快下船。”

作为回应，Cursor代表确实回复了Reddit帖子，解释说没有这样的政策，用户“可以在多台机器上自由使用Cursor。”

“不幸的是，这是来自一线人工智能支持机器人的错误响应。我们确实推出了一项更改来提高会话的安全性，我们正在调查它是否导致了会话无效的问题。”

然而，该公司直到三个小时后才做出该回应，而那时，一个聊天机器人擅自发明一项政策的故事正在迅速传播开来。

虽然无法确定Cursor取消订阅的成本有多高，但从长远来看，声誉受损可能是最昂贵的。

但是Cursor的聊天机器人到底是怎么犯下这样的错误的呢？

人工智能幻觉是一个真正的客户体验问题

熟悉人工智能世界的人会熟悉“幻觉”这个词。幻觉是指人工智能工具自信地生成虚假信息而不是承认不确定性的情况。

虽然主要的人工智能公司正在投入时间和资源来消除其产品中的幻觉，但Cursor的事故是过去18个月发生的一系列事件中的最新一起。

早在1月份，维珍理财的一名客户就因在客户服务询问中使用“维珍”一词而受到该公司聊天机器人的莫名其妙的谴责。

“请不要使用这样的词语。如果你使用这种语言，我将无法继续我们的聊天，”机器人回复道。

虽然这种互动在社交媒体上大受欢迎，数百人看到了有趣的一面，但这是幻觉造成的明显错误的另一个例子。

在一个合理的不恰当语言的例子中，DPD去年因所有错误的原因成为头条新闻，当时一位沮丧的客户设法说服其一个聊天机器人发誓并写了一首关于公司有多糟糕的诗。

除了聊天机器人幻觉带来的一些更有趣的情况外，还有一些具有法律意义的情况。

去年2月，一家小额索赔法院裁定，加拿大航空公司必须赔偿一名被聊天机器人误导而多付机票的客户。

Jake Moffatt正在为丧亲之痛旅行，他被错误地告知，他可以在购买全价门票后申请退款。他支付了1600多美元，而不是大约760美元的费用。

在其他地方，纽约市的生成式人工智能聊天机器人“MyCity”最近因向小企业主提供非法建议和歪曲当地政策而受到严厉批评。

Gartner去年的一份报告讨论了人工智能幻觉的这些更严重的副产品。

在一个非常令人不安的预测中，Gartner表示，“到2027年，一家公司的生成式人工智能聊天机器人将直接导致客户因其提供的不良信息而死亡。”

尽管最近与Cursor发生的事件似乎没有比客户流失和声誉受损更严重的后果，但它仍然是对任何希望部署人工智能聊天机器人的组织的警告。

这些自动化代理有无可辩驳的好处，但如果没有正确实施和测试，它们也可能对公司的客户服务和体验服务产生不利影响。