评估ChatGPT在提供适当的骨折预防建议和医学科学问题答案方面:一个定量研究
Jiahao Meng1, Ziyi Zhang2, Hang Tang1
1Department of Orthopaedics, Xiangya Hospital, Central South University, #87 Xiangya Road, Changsha, Hunan, China.
Medicine
|March 15, 2024
概括
聊天GPT为骨质疏松性骨折预防和医学科学问题提供适当的答案. 患者和专家都认为它的答案对健康和科学调查是可靠的.
科学领域:
- 人工智能在医学中的应用
- 自然语言处理自然语言处理.
- 医疗信息传播 医疗信息传播
背景情况:
- 关于ChatGPT的医疗问题答案能力的研究有限.
- 评估人工智能在提供健康信息方面的作用对于患者教育和科学传播至关重要.
研究的目的:
- 评估ChatGPT (特别是GPT-3.5) 在回答有关骨质疏松性骨折预防和一般医学科学问题的充分性.
- 为了比较ChatGPT的响应的适当性和准确性,根据患者,非医疗专业人员,专科医生和科学家的评价.
主要方法:
- 制定了一套25个骨质疏松性骨折预防问题和11个医学科学问题.
- 三组患者,三个非医疗专业人员,三个专业医生和三个科学家评估了ChatGPT-3.5的反应.
- 使用了一个模拟的咨询过程,涉及询问者,ChatGPT和咨询师进行响应评估.
主要成果:
- 患者对骨质疏松性骨折预防的ChatGPT反应的评分略高 (88%) 比骨科临床医生 (80%),没有统计学意义.
- 对于关于骨折预防和医学科学的ChatGPT反应的专家评级是可比的.
- 患者认为关于骨折预防的ChatGPT反应 (88%) 比医学科学 (72.7%) 更合适.
结论:
- 聊天GPT在骨质疏松性骨折预防和医学科学主题方面表现出产生适当反应的能力.
- 患者和医疗保健/科学专业人员都承认ChatGPT在这些领域的专业知识.
- 像ChatGPT这样的AI工具显示出传播准确的健康和科学信息的潜力.
