泌尿学学员非技术技能:对聊天GPT4人工智能对顾问互动进行比较的双盲研究
Matthew Pears1, Karan Wadhwa2, Stephen R Payne3
1School of Health Sciences, University of Nottingham, Nottingham, UK.
Journal of healthcare informatics research
|February 3, 2025
概括
人工智能 (AI) 大型语言模型在医疗保健专业人员的非技术技能 (NTS) 培训方面显示出前景. 虽然人工智能在知识强化和同理心方面表现出色,但在细微的沟通和事实准确性方面,人类的反仍然优越.
科学领域:
- 医学教育 医学教育
- 医疗保健中的人工智能
- 人类因素在医学中的作用
背景情况:
- 非技术技能 (NTS) 对于有效的医疗保健服务至关重要,它补充了技术专长.
- 传统的NTS培训方法正在被新兴的人工智能技术增强,特别是大型语言模型 (LLM).
- 生成式预训练型变压器4 (GPT-4) 代表了对话式人工智能的重大进步,在医学教育中具有潜在的应用.
研究的目的:
- 评估GPT-4作为尿道科非技术技能 (NTS) 培训工具的有效性.
- 在评估NTS时,将人工智能驱动反的性能与人类反进行比较.
- 确定AI在提供NTS反方面的优势和局限性.
主要方法:
- 泌尿学实习生参与模拟场景,随后与人工智能顾问 (GPT-4) 或人类顾问进行反会.
- 专家审查员评估了匿名交互成绩单,提供了定量评级和定性分析.
- 统计分析,包括威尔科克森签名等级和曼-惠特尼U测试,比较了反的有效性.
- 使用专题分析来辨别人工智能和人类反之间的差异和相似之处.
主要成果:
- GPT-4在加强知识收集,提供基于证据的反,传达同情心和量身定制解释方面展示了显著的优势.
- 人类反在语言术语,复杂性评估和基于事实的反方面被发现是优越的.
- 人工智能和人类反都显示了干预后在训练员表现上具有统计学意义的改善.
结论:
- 人工智能,特别是像GPT-4这样的LLM,具有相当大的潜力,可以增加NTS在医疗保健环境中的评估和培训.
- 一种混合方法,将人工智能能力与人类专业知识相结合,可能是提高NTS培训效率的最有效策略.
- 进一步的研究是有必要的,以优化AI整合到医疗教育NTS发展.
