在口吃时评估ChatGPT的响应质量和可读性
Saeed Saeedi1, Mehdi Bakhtiar1
1Speech and Neuromodulation Laboratory, Unit of Human Communication, Learning and Development, Faculty of Education, The University of Hong Kong, Hong Kong Special Administrative Region of China.
Journal of fluency disorders
|August 23, 2025
概括
聊天GPT为口吃问题提供了有希望的答案, 语音病理学家 (SLP) 常常将人工智能答案误认为人类答案. 虽然人工智能通常是准确和安全的,但应该补充,而不是取代专业的SLP护理.
科学领域:
- 语音病理学
- 医疗保健中的人工智能
背景情况:
- 关于口吃的常见问题很常见.
- 聊天GPT (生成预训练变压器) 是一种越来越容易使用的AI语言模型.
研究的目的:
- 评估ChatGPT在回答口吃相关常见问题方面的理解和准确性.
- 评估人工智能产生的反应与人类的相似性和专业一致性.
主要方法:
- 我们向GPT-4o mini提出了11个常见的口吃问题.
- 一个由五位认证的语音语言病理学家 (SLP) 组成的小组评估了人工智能对准确性,潜在危害和共识一致性的反应.
- 分析了可读性指标 (FRES,GFSL,D-CS) 和语言特征.
- 斯皮尔曼的等级相关性检查了SLP评估与可读性之间的关系.
主要成果:
- 45.5%的AI回复被SLP误认为是人类写的.
- 83. 6% 的反应是准确的,63. 6% 是无害的,38. 2% 造成轻微至中度伤害.
- 62%的回复与SLP社区的共识一致.
- 可读性评分显示了适合大学或研究生读者的文字.
- 在SLP判断和可读性特征之间发现了显著的相关性.
结论:
- 聊天GPT显示出一个强大的潜力来准确和适当地回答口吃常见问题.
- 人工智能产生的内容被SLP视为高度人性化.
- 人工智能工具应用于教育目的,而不是作为专业语音病理诊断和治疗的替代品.
