人工智能聊天机器人的有效性,可靠性和可读性作为关于听力损失的公共信息来源:对ChatGPT,Bing,Gemini和Perplexity进行比较评估
Mohamad Amin Pourhoseingholi1,2, Catherine Killan1,2, Sara Rafiee3
1Hearing Sciences, Mental Health and Clinical Neurosciences, School of Medicine, University of Nottingham, Nottingham, United Kingdom.
International journal of audiology
|October 23, 2025
概括
人工智能聊天机器人主要提供准确的听力健康信息,但难以达到高水平的准确性和可读性. 他们可以协助,但不能取代专业的听力学护理.
科学领域:
- 听力学和人工智能的人工智能
- 数字卫生技术数字卫生技术
- 医疗信息系统 医疗信息系统
背景情况:
- 人工智能 (AI) 聊天机器人越来越多地用于健康信息检索.
- 人工智能产生的听力健康内容的准确性,可靠性和可读性需要彻底评估.
- 了解AI聊天机器人的性能对于将它们负责任地整合到听力学实践中至关重要.
研究的目的:
- 评估四个人工智能聊天机器人 (ChatGPT-3.5,Bing AI,Gemini,Perplexity) 的有效性,可靠性和可读性,用于听取健康信息.
- 为了比较不同的AI模型在提供准确和可理解的听力学相关答案方面的表现.
- 确定人工智能聊天机器人作为听力医疗保健中的补充工具的适用性.
主要方法:
- 听力学家开发了100个听力健康问题,涵盖听力损失,儿科听力,助听器,耳和耳植入物.
- 每个人工智能聊天机器人被问了两次问题,并使用全球质量评分来评分答案的准确性和完整性.
- 在低值 (分数=5) 和高值 (分数≥4) 门下评估有效性,使用克朗巴赫α的可靠性,使用Flesch阅读易度得分 (FRES) 和Flesch-Kincaid等级水平 (FKGL) 的可读性.
主要成果:
- 在低值下,ChatGPT-3.5和Perplexity显示出最高的有效性 (84%和79%).
- 在所有聊天机器人中,高值有效性显著下降 (37%的ChatGPT-3.5,34%的Perplexity).
- 困惑表明总体可靠性最高 (α=0.83),尽管可靠性在特定主题下降;84%的输出被评为"困难"或"非常困难",68%的输出处于大学阅读水平.
结论:
- 人工智能聊天机器人通常提供准确的听力健康信息,但需要提高高值准确性,特定领域的可靠性和可读性.
- 这些人工智能工具应该被视为对专业听力咨询的补充,而不是替代.
- 在AI聊天机器人可以在临床环境中常规推之前,需要进一步优化和外部验证.
