评估人工智能搜索引擎在提供对食补充剂的答案时的可靠性和准确性:定量和定性评估
Mingxin Liu1, Tsuyoshi Okuhara2, Ritsuko Shirabe3
1Department of Health Communication, Graduate School of Medicine, The University of Tokyo, Bunkyo, Hongo 7-3-1, Tokyo, 113-8655, Japan, 81 03-5800-6549.
JMIR AI
|October 29, 2025
概括
微软Copilot在食补充剂上提供了不准确的健康信息,经常引用不可靠的来源. 消费者在使用人工智能进行健康查询时应谨慎使用.
科学领域:
- 人工智能在健康中的作用
- 医疗信息学 医疗信息学
- 食补充剂研究研究
背景情况:
- 由人工智能驱动的搜索引擎正在改变健康信息的获取.
- 微软Copilot的健康内容可靠性是一个问题,特别是在食补充剂方面.
- 错误信息在食补充剂领域普遍存在,科学共识有限.
研究的目的:
- 评估微软Copilot对食补充剂健康查询的可靠性和准确性.
- 引导消费者安全使用人工智能来补充信息.
- 支持人工智能开发人员增强健康信息的大型语言模型.
主要方法:
- 180个关于补充剂对常见疾病的有效性问题被问到日本语的Copilot.
- 在创意,平衡和精确的模式中分析了副驾驶员的反应.
- 根据医生主导的,基于证据的评估来评估准确性;来源被系统地检查.
主要成果:
- 在所有辅助飞行员模式 (31.7%-36.1%) 中,整体准确性较低.
- 引用的很大一部分 (72.7%) 来自未经验证的来源.
- 10%的回答包含幻觉内容;只有48.5%建议咨询医疗保健专业人员.
结论:
- 副驾驶员经常提供不准确的信息,并引用了关于食补充剂的不可靠来源.
- 人工智能倾向于与用户的期望保持一致,这会给健康信息带来错误信息的风险.
- 必须将健康沟通原则纳入人工智能开发,以确保公众安全使用.
