自然语言处理和用于评估运动技能的软数据:在外科训练模拟中的案例研究
Arash Iranfar1, Mohammad Soleymannejad1, Behzad Moshiri2
1School of Electrical and Computer Engineering, University College of Engineering, University of Tehran, N. Kargar st., Tehran, Iran.
Computer methods and programs in biomedicine
|March 13, 2025
概括
本研究探讨了使用专家自由文本评论 (软数据) 来评估外科技能. 先进的自然语言处理 (NLP) 和大型语言模型 (LLM) 在分析这些数据以进行更可扩展的评估方面表现有前途.
科学领域:
- 医学教育 医学教育
- 人工智能在医学中的应用
- 自然语言处理自然语言处理.
背景情况:
- 自动化手术技能评估通常依赖于动态和视频数据.
- 自由文本 (软数据) 的专家意见为技能评估提供了丰富的语义信息.
- 现有的数据集缺乏同步的软硬数据来进行全面的分析.
研究的目的:
- 分析使用自由文本专家意见 (软数据) 作为评估外科技能的唯一来源的可行性.
- 评估各种自然语言处理 (NLP) 算法在分析软数据方面的有效性.
- 将传统的机器学习与大型语言模型 (LLM) 进行技能评估.
主要方法:
- 一项名为"Vertex Pursuit"的实验旨在收集同步的硬和软数据.
- 追踪了参与者的手眼协调,灵敏度和精确度.
- 传统的机器学习和先进的LLM (仅编码器,仅解码器) 与即时工程被应用于自由文本反.
主要成果:
- 使用软数据进行外科技能评估是一个复杂的NLP任务.
- 随着方法复杂性的增加,评估结果总体上有所改善.
- 只有解码器的LLM与基于规则的提示实现了最高的性能.
结论:
- 自由文本专家反显示了作为独立的外科技能评估工具的可行性.
- 拟议的NLP方法可以减少技能评估中的主观性和专家负担.
- 这种方法使得外科培训评估更具可扩展性和广泛性.
