多模式学习用于自动化机器人手术技能评估:将视频和动态数据与整体模型集成
Ke Chen1,2,3, Yiming Zhang2,3, Ying Weng2,3
1School of Information Engineering, Wenzhou Business College, Wenzhou, China.
International journal of surgery (London, England)
|December 16, 2025
概括
本研究引入了使用视频和动态数据进行外科技能评估的自动化系统. 多式联络方式增强了对外科医生的客观评估和培训.
科学领域:
- 机器人技术 机器人技术 机器人技术
- 人工智能的人工智能
- 医学培训 医学培训 医学培训
背景情况:
- 目前手术技能的评估是主观的,耗时的.
- 有效的外科医生培训需要客观的,自动化的系统.
研究的目的:
- 开发一个用于自动化手术技能分类的多式模式框架.
- 提高外科手术技能评估的客观性和效率.
主要方法:
- 一个多式模式框架,结合了3D CNN视频分类器和1D CNN动态分类器.
- 用于模型可解释性的类激活地图 (CAM).
- 在JIGSAWS和ROSMA公共数据集上进行的实验.
主要成果:
- 多式联运框架在公共数据集上实现了可比性能.
- 多模式学习在大多数外科任务中表现优于单模式学习.
结论:
- 介绍了一种用于机器人外科技能评估的新型多式模式学习方法.
- 该系统使用动态和视频数据进行评估.
- 使用CAM解释了模型决策过程.
