走向值得信赖的聊天机器人:一个红色团队的协议,用于与健康有关的对话

科学领域:

• 人工智能安全与道德
• 人与计算机的交互
• 数字健康数字健康

背景情况:

• 与健康相关的聊天机器人调解敏感的对话,存在超出事实准确性的风险.
• 检索增强生成 (RAG) 可以减少幻觉,但不能消除行为安全和范围规则违规.
• 对抗性测试 (红色团队) 对于识别人工智能系统的部署前风险至关重要.

研究的目的:

• 描述与健康相关的,面向患者的聊天机器人的任务告知红色团队协议.
• 评估聊天机器人遵守知识和行为准则的程度.
• 评估针对已识别的漏洞的缓解技术的有效性.

主要方法:

• 开发了一个具有错误分层,单/多转攻击评估和缓解框架的协议.
• 定义的知识坚持 (KA) 和行为坚持 (BA) 错误类别.
• 使用140个单转和20个多转探头测试了一个社会护理聊天机器人,评估了两个缓解方法:提示和文档增强.

主要成果:

• 主要风险是行为坚持 (BA) 失败 (15%的错误率),而不是知识坚持 (KA).
• 多回合测试揭示了在单回合测试中遗漏的关键BA漏洞 (例如,寻求建议,用户困境).
• 缓解大大减少了错误:即时增强减少了总错误的60%,文档增强消除了用户应急错误,并结合缓解删除了高严重性的错误.

结论:

• 一个结合单回合宽度和多回合深度测试与分层减轻的协议提高了聊天机器人的安全性.
• 开发的协议提供了一个实用的模板,以提高面向患者的聊天机器人的可靠性.
• 未来的工作应该涉及不同的临床领域和更大的评估小组.