大型语言模型是否是一种有用的资源,可以解决患者对光的普遍担忧? 一个可读性分析分析
William J Hlavinka1, Tarun R Sontam1, Anuj Gupta1
1Texas A&M School of Medicine, Baylor University Medical Center, Department of Medical Education, 3500 Gaston Avenue, 6-Roberts, Dallas, TX 75246, USA.
概括
像ChatGPT这样的人工智能聊天机器人提供比谷歌更长,更复杂的答案,用于手术问题. 人工智能和谷歌的响应通常都超过了美国典型的阅读水平.
科学领域:
- 医疗信息学 医疗信息学
- 医疗保健中的人工智能
- 患者教育 患者教育
背景情况:
- 患者询问关于头手术的情况很常见.
- 评估在线健康信息的质量至关重要.
- 人工智能 (AI) 工具越来越多地用于信息检索.
研究的目的:
- 为了比较人工智能生成的答案 (ChatGPT-3.5和4.0) 的准确性和可读性,与谷歌对球手术的搜索结果进行比较.
- 评估人工智能生成的健康信息的语言复杂性.
主要方法:
- 在谷歌上搜索了"切除术".
- 确定了前十个"人们也会问"的问题.
- 通过这些问题查询了ChatGPT-3.5和4.0.
- 通过使用Flesch-Kincaid阅读易度和炮火雾级算法分析了答案.
主要成果:
- 与谷歌相比,ChatGPT-3.5和4.0提供了显著更长的响应 (分别为315 ± 39和294 ± 39字).
- 人工智能模型和谷歌之间观察到阅读容易度的显著差异.
- 人工智能和谷歌的答案都普遍超过了美国平均阅读水平.
结论:
- 与谷歌相比,ChatGPT的响应显著更长,并且在阅读方便方面有所不同.
- 关于手术的在线信息的可读性,无论是来自人工智能还是搜索引擎,都值得注意.
- 需要进一步的研究,以确保人工智能产生的健康信息对患者来说是可访问和准确的.
