调查人工智能大语言模型关于尿道炎的准确性和完整性:对聊天GPT的评估
Rayna F Marshall1, Krishna Mallem1, Hannah Xu2
1The Drexel University College of Medicine, Philadelphia, Pennsylvania, USA.
Ocular immunology and inflammation
|February 23, 2024
概括
聊天GPT提供了大多数准确但不完整的答案,关于紫外线炎. 需要进一步验证,才能成为可靠的患者信息来源.
科学领域:
- 眼科医生 眼科 眼科
- 人工智能在医学中的应用
背景情况:
- 尿道炎是一种炎症性眼睛疾病,需要准确的信息来管理.
- 像ChatGPT这样的人工智能 (AI) 聊天机器人在提供医疗信息方面的作用正在迅速发展.
研究的目的:
- 评估ChatGPT 3.5关于紫外线炎的答案的准确性和完整性.
- 评估ChatGPT作为患有耳膜炎的患者信息资源的适用性.
主要方法:
- 一位卵巢炎专家提出了32个问题,涵盖卵巢炎的描述,预防,治疗和预后.
- 聊天GPT 3.5生成了这些问题的答案.
- 五位脑膜炎专家使用利克特尺度对答案的准确性和完整性进行了审查.
主要成果:
- 所有32个卵巢炎问题的中位数准确度得分为4.00 (在"比不正确更正确"和"几乎全部正确"之间).
- 完整度的中位数为2.00 ("充分,解决了问题的各个方面,并提供了被认为是完整的最低信息量").
- 在准确性 (kappa=0.0278) 和完整性 (kappa=0.0847) 两方面都观察到较低的interrater可靠性.
结论:
- 聊天GPT在回答与膜炎相关的问题上表现出相对较高的准确性.
- 然而,人工智能生成的响应往往不完整,可能包含不准确性.
- 在ChatGPT可靠地被用作患者胰腺炎信息来源之前,需要进行额外的验证和开发.
