"我的AI正在对我撒谎":用户报告的AI移动应用程序的LLM幻觉

科学领域:

• 人工智能的人工智能
• 人与计算机的交互
• 软件工程 软件工程 软件工程

背景情况:

• 大型语言模型 (LLM) 越来越多地集成到人工智能驱动的移动应用程序中.
• 产生不正确或无意义信息的LLM幻觉对用户体验和信任构成风险.
• 在移动应用程序中对LLM幻觉的用户感知和报告的实证理解有限.

研究的目的:

• 在人工智能驱动的移动应用程序中实证地描述用户报告的LLM幻觉.
• 为了估计用户感知到的LLM幻觉的流行率和类型.
• 为了识别与幻觉报告相关的语言模式.

主要方法:

• 分析了来自90个不同的人工智能驱动的移动应用程序的300万个用户评论.
• 应用基于启发式的用户报告的LLM幻觉检测算法.
• 手动注释1000名候选人评论,并开发一种基于数据的幻觉类型分类法.

主要成果:

• 大约1.75%的相关评论表明潜在的LLM幻觉.
• 开发了七种用户感知的幻觉类型的分类.
• 事实不正确 (38%),无意义/无关的输出 (25%) 和伪造信息 (15%) 是最常见的类型.
• 幻觉报告显示情绪得分明显较低.

结论:

• 用户报告的幻觉是人工智能驱动的移动应用程序中一个值得注意的问题.
• 有针对性的监测和缓解策略对于人工智能移动应用的质量保证至关重要.
• 这项研究为开发更值得信赖的AI移动应用提供了以用户为中心的基础.