MEFA-Unet:多个尺度的特征提取和融合注意力网络,用于在otologic微手术场景中细分短过程的incus

科学领域:

• 医疗成像医学成像
• 人工智能的人工智能
• 手术技术 手术技术

背景情况:

• 当前的卷积神经网络 (CNN) 在微手术中存在局限性,原因是难以捕获多尺度的语义细节并建立特征连接.
• 这些局限性阻碍了小物体的准确细分和在复杂的微手术场景中的边界划分.

研究的目的:

• 为了解决微手术中现有的CNNs的局限性.
• 引入一种新的多尺度特征提取和融合注意力Unet (MEFA-Unet) 技术,用于增强微手术图像分析.

主要方法:

• 开发了采用混合注意力机制 (挤压刺激和协调注意力) 的MEFA-Unet模型.
• 在跳过连接和跨越多层解码阶段实施了多级特征融合.
• 在一个大数据集上训练并验证了该模型,其中包括来自181名患者的33420张人类注释图像,这些图像来自四种微手术场景.

主要成果:

• 与传统网络相比,MEFA-Unet表现出优越的细分性能,在验证集中实现了0.8880的平均交叉与联盟 (mIOU).
• 该模型在测试组件上获得了0.7583的高mIOU得分,在视频数据上达到0.7855的高mIOU得分.
• 在真实的微手术程序上进行验证,该模型在具有挑战性的条件下表现出色,例如薄弱的纹理和低对比度.

结论:

• 拟议的MEFA-Unet对于自动检测和细分短过程的 (SPI) 是非常有效的.
• 该模型在各种复杂的微手术应用中显著提高精度和效率.