来自变压器的微调双向编码器表示与基于文本的门诊病房的聊天GPT 建议:比较研究
Eunbeen Jo1, Hakje Yoo2,3, Jong-Ho Kim4,5
1Department of Medical Informatics, Korea University College of Medicine, Seoul, Republic of Korea.
JMIR formative research
|October 18, 2024
概括
聊天GPT可以帮助患者选择合适的专家,但专门的模型 (KM-BERT) 在准确性方面表现更好. 聊天GPT提供解释性的好处,以帮助患者理解医疗保健推.
科学领域:
- 医疗保健中的人工智能
- 自然语言处理自然语言处理.
- 医疗信息学 医疗信息学
背景情况:
- 患者在根据症状选择合适的门诊专家时面临挑战.
- 自然语言处理 (NLP) 模型为医院前决策提供了潜在的解决方案.
研究的目的:
- 评估ChatGPT在为患者询问推医疗专科方面的表现.
- 为了比较ChatGPT的建议与微调的韩国医学双向编码器从变压器 (KM-BERT) 的表示模型.
主要方法:
- 使用了31,482个医疗问题的数据集,医生分配了专业标签 (27个不同的类别).
- 使用准确性,精度,回忆和F1分数指标比较ChatGPT和KM-BERT.
- 将ChatGPT的响应分类为匹配和不匹配的预定义专业.
主要成果:
- 聊天GPT实现了0.939准确度,0.219精度,0.168回忆率和0.134F1得分,答案回避率为6.2%.
- KM-BERT的表现优于ChatGPT,准确度为0.977,精度为0.570,回忆率为0.652和F1得分为0.587.
- 聊天GPT提供了阐明症状病理生理学的解释.
结论:
- 虽然KM-BERT在专业推方面表现出卓越的准确性,但ChatGPT提供了宝贵的解释能力.
- 聊天GPT的对话性质和详细的解释可以改善患者的理解和医疗转诊过程.


