关于端到端视频学习批量规范化的陷:一项关于外科手术工作流分析的研究

科学领域:

• 计算机视觉 计算机视觉
• 机器学习 机器学习
• 医学成像分析 医学成像分析

背景情况:

• 批量规范化 (BN) 在卷积神经网络 (CNN) 中广泛用于视频理解中的特征提取.
• BN的批量依赖性在序列建模中带来了挑战,并且在长视频理解中未得到充分研究,特别是用于外科手术工作流分析.
• 在外科分析中缺乏预训练的特征提取器,往往需要复杂的多阶段培训,可能会掩盖端到端培训的好处,因为BN问题.

研究的目的:

• 分析批量规范化 (BN) 在视频学习中的陷,重点关注其对端到端培训的影响.
• 调查在线视频任务中的BN特定问题,例如预测中的"作弊"效应.
• 证明无BN模型在外科手术工作流程分析和更广泛的视频理解方面的有效性.

主要方法:

• 批量规范化 (BN) 属性的分析及其对视频学习任务的影响.
• 采用无BN骨干的卷积神经网络长期短期记忆 (CNN-LSTM) 模型的实施和评估.
• 在三个手术工作流分析基准和自然视频数据集上进行测试,以验证发现.

主要成果:

• 批量规范化 (BN) 属性在视频分析中为有效的端到端学习创造了重大障碍.
• 在简单的CNN-LSTM架构中集成时,无BN的卷积神经网络 (CNN) 脊椎系统的性能优于最先进的方法.
• 充分的端到端培训策略,最大限度地利用时间背景,对于实现无BN模型的卓越性能至关重要.

结论:

• 意识到批量规范化 (BN) 的陷对于成功进行手术视频分析的端到端学习至关重要.
• 使用无BN的骨干和优化时间上下文允许更简单的模型实现最先进的结果.
• 从这项关于视频学习中BN问题的研究中获得的见解可以使外科手术工作流分析之外的各种研究领域受益.