大型语言模型在医学培训评估中的应用-使用聊天GPT作为标准化患者:多度测量评估
Chenxu Wang1,2,3, Shuhan Li1,2, Nuoxi Lin1,2
1West China Biomedical Big Data Center, West China Hospital, Sichuan University, Chengdu, China.
Journal of medical Internet research
|January 1, 2025
概括
像ChatGPT这样的大型语言模型可以有效地模拟标准化的患者进行病史记录任务. 快速工程显著提高了ChatGPT的准确性和现实性,用于医学教育.
科学领域:
- 医疗教育 技术 技术 医学教育
- 医疗保健中的人工智能
- 自然语言处理自然语言处理.
背景情况:
- 越来越多的人对在医学中应用大语言模型 (LLM) 感兴趣.
- 作为医疗评估的标准患者,LLM的有限评估.
- 探索ChatGPT作为历史学习培训的经济有效的替代方案.
研究的目的:
- 评估ChatGPT作为标准化患者的可行性和性能.
- 利用快速工程来提高医疗评估的准确性.
- 评估ChatGPT在改变医学教育中的作用.
主要方法:
- 两个阶段的实验:可行性和性能评估.
- 模拟的历史记录对话 (IBD) 与不同的查询质量.
- 评估人类形象,临床准确性和适应性,使用快速改进.
- 在300多次运行中,与原始和修订的提示进行了性能比较.
- 测试了与其他脚本的通用性,并探索了语言的影响.
主要成果:
- 聊天GPT有效地模拟了标准化的患者,区分了查询质量.
- 修订后的提示显著提高了现实性和准确性 (4.9倍改进).
- 经过修订的提示,分数差异百分比从29.83%下降到6.06%.
- 在单独的脚本上的性能是可以接受的 (3.21%的差异).
- 语言变化没有显著影响聊天机器人的性能.
结论:
- 聊天GPT是一个可行的工具,用于模拟医疗评估中的标准化患者.
- 快速工程大大提高了得分准确度和响应现实性.
- 像ChatGPT这样的LLM显示出改善医疗培训和临床准备的潜力.
关键词:
聊天GPT 聊天GPT 聊天准确度 准确度 准确度 准确度 准确度人工智能的人工智能是人工智能.医疗保健 医疗保健 医疗保健炎症性肠病是一种炎症性肠病.大型语言模型.医疗培训 医疗培训 医学培训绩效评价 绩效评价 绩效评价 绩效评价 绩效评价快速的工程迅速的工程标准化的患者患者.更多相关视频
04:09Predicting Treatment Response to Image-Guided Therapies Using Machine Learning: An Example for Trans-Arterial Treatment of Hepatocellular Carcinoma
Published on: October 10, 2018
8.2K
13:44Project-Based Learning Guidelines for Health Sciences Students: An Analysis with Data Mining and Qualitative Techniques
Published on: December 9, 2022
3.4K