Calabrio最近强调了其参与CareAIhealthcare项目的第二年，这是加拿大的一项努力，该项目使用基于生成式人工智能的解决方案来自动化患者与提供者互动的各个方面，从而改善整体患者体验，同时解决预测的护士和医生短缺问题。Calabrio对该项目的贡献包括其Auto QM和Trending Topics，Calabrio于2024年1月通过收购Wysdom收购了这些产品，以及ORX的人工智能驱动模型和自动化软件。

ORX正在处理自动化组件，而Calabrio的解决方案使CareAI附属的医疗服务提供者能够评估患者和提供者之间互动的有效性，无论患者是与真人还是虚拟代理交谈。该项目的首批用例之一是自动预约日程安排。无论患者是与基于人工智能的机器人互动，还是最终直接与人工智能座席（在通话过程中可能会获得基于人工智能技术的帮助）交谈，Calabrio的解决方案都会通过检测各种信号来评估这些互动（在互动结束后）——同理心、问候、情绪、话题坚持、专业性和决心。

Calabrio管理服务团队副总裁Michel Benitah表示：“我们的软件会识别出表现不佳的领域，然后我们提供估计，如果这些领域得到解决，可以节省很多成本。”通过互动分析，Calabrio发现强制重新安排约见是一个常见问题。

“发生这种情况是因为后端系统中可用的信息不准确或不是最新的，因此座席向患者提供了不准确的信息。”Benitah说：“我们发现，大多数客户的知识库都是一团糟。我们从许多医疗保健领导者那里听说，这是采用人工智能代理的障碍之一——[他们必须]首先清理[数据]，以便与最终客户交互的人工智能代理提供准确的信息，而不会产生幻觉。”

Calabrio还在探索如何使用其解决方案来检测Gen AI聊天机器人何时产生幻觉（输出看似合理的错误反应）。例如，如果患者使用虚拟代理安排下午1点的预约，系统说医生在晚上9点到5点之间有空（但医生实际上没有），那么预约还是被预订了。错误可能是幻觉（或者虚拟代理可能使用了不准确的数据）。

Calabrio产品管理高级总监Astha Sethi表示，确定幻觉涉及寻找假阳性等技术（即提供的反应是否与患者的要求相关）。Calabrio的解决方案还提供机器人自动化和机器人体验评分，帮助客户确定特定任务（如自动调度）是否成功。

“如果客户没有完成预约，那么（我们）就不会认为这是自动化的。有时会发生这种情况，因为完成任务涉及太多步骤。”Sethi说：“人工智能代理的设计应尽可能减少步骤。”

Calabrio的解决方案也可以反过来：建议采取额外的措施。“也许客户忘记在[日程安排]过程中添加一个步骤。通过我们的分析，我们可以告诉他们，‘如果你添加这个步骤，你可以将其自动化X%。”Sethi说：“然后我们还告诉他们，如果对人工智能代理进行这些更改，预计会产生什么影响。”