SurgPETL:参数高效的图像到手术视频传输学习,用于手术阶段识别

科学领域:

• 计算机视觉 计算机视觉
• 医学成像分析 医学成像分析
• 机器学习 机器学习

背景情况:

• 图像预训练显示出下游任务的前景,但视频微调面临瓶.
• 手术视频分析受到有限的数据和需要时空建模的挑战.
• 参数高效的图像到视频传输学习 (PEIVTL) 提供了效率,但它的外科应用尚未被探索.

研究的目的:

• 开发一种有效的方法来适应图像级预先训练的模型,用于细粒度的外科阶段识别.
• 引入一个新的框架,SurgPETL,用于参数高效的图像到外科手术视频传输学习.
• 评估这种方法在复杂的手术场景中的有效性和通用性.

主要方法:

• 开发了SurgPETL,这是一个参数有效的转移学习框架,用于手术阶段识别.
• 集成了一个具有空间和时间适配器的自适应时空表示调制 (ASRM) 模块.
• 使用在各种数据集上预先训练的视觉转换器 (ViT) 进行了广泛的实验.

主要成果:

• SurgPETL与ASRM在三个具有挑战性的外科手术数据集上表现出显著的有效性.
• 拟议的框架优于现有的参数效率方法和最先进的方法.
• 实现了强大的时空建模,捕捉了详细的空间特征和时间连接.

结论:

• SurgPETL-ASRM为手术阶段识别提供了高效和有效的解决方案.
• 该框架在各种外科手术过程中很好地泛化,解决了数据限制.
• 这种方法保持了参数效率,并最大限度地减少了医疗视频分析中的计算开销.