医学教育中的物理检查识别 视频:零射击多式人工智能与时间序列优化研究研究

科学领域:

• 医疗教育中的人工智能
• 计算机视觉用于临床评估.
• 在医疗保健中的自然语言处理.

背景情况:

• 客观结构化临床检查 (OSCE) 对于评估医学生能力至关重要,但资源密集.
• 目前的自动化视频分析方法由于计算和时间上下文的挑战,与长时间的医疗视频作斗争.
• 身体检查 (PE) 组件至关重要,但往往是欧安组织记录中很小,难以分离的部分.

研究的目的:

• 评估多式联通大型语言模型 (MM-LLM) 在欧安组织视频中对PE周期进行细分的有效性.
• 为了确定MM-LLMs是否可以在没有事先特殊培训的情况下减少评估负担.
• 评估AI在简化临床技能评估方面的潜力.

主要方法:

• 分析了500个15分钟的欧安组织视频,用手工标记的PE周期作为基本事实.
• 在1-3秒间隔进行采样,并进行姿势检测预处理.
• 利用六个MM-LLM进行级分类,并使用隐藏的马尔科夫模型进行时间一致性.
• 绩效指标包括回忆,精度,IOU交叉点和预测的PE长度.

主要成果:

• 在1秒抽样时,GPT-4o实现了高回忆率 (0.998) 和IOU (0.784),减少了81%的审查时间.
• 该模型确定了每段视频175秒的PE,而标记的平均时间为126秒.
• 其他MM-LLM显示出权衡;GPT-4o提供了回忆和精度的最佳平衡.
• 错误分析显示了在处理封闭机动和准备行动方面需要改进的领域.

结论:

• 零射击MM-LLMs与时间建模相结合,在欧安组织视频中有效地细分PE,最大限度地减少对广泛培训数据的需求.
• 这种人工智能驱动的方法显著减少了审查时间,同时保持了临床评估的完整性.
• 该技术为医疗教育中有效的临床技能评估提供了一个可扩展的基础.