相关实验视频
Updated: Jun 26, 2025
04:48
Swin-PSAxialNet: An Efficient Multi-Organ Segmentation Technique
Published on: July 5, 2024
392
增强手术仪器细分:将视觉转换器洞察力与适配器整合起来
Meng Wei1, Miaojing Shi2, Tom Vercauteren3
1School of Biomedical Engineering and Imaging Sciences, King's College London, London, UK. meng.wei@kcl.ac.uk.
概括
本研究介绍了一种新型的适配器模型,集成视觉转换器 (ViT) 和卷积神经网络 (CNN) 来进行手术仪器细分. 该方法实现了卓越的性能和稳定性,即使使用有限的注释数据.
科学领域:
- 计算机视觉 计算机视觉
- 医疗成像医学成像
- 机器学习 机器学习
背景情况:
- 由于有限的注释数据集,手术图像细分面临着挑战.
- 为各种不同的手术场景开发强大的模型至关重要.
研究的目的:
- 开发一个手术图像细分模型,以有限的数据进行竞争.
- 为了提高模型在各种手术场景中的强度.
主要方法:
- 提出了一种方法,将预先训练的视觉转换器 (ViT) 与卷积神经网络 (CNN) 结合起来.
- 使用CNN细分模型作为一个轻量级适配器,用于冷的ViT功能编码器.
- 开发了一种新的功能适配器,使用交叉注意力将多尺度的CNN功能与ViT嵌入式合并.
主要成果:
- 在手术仪器细分方面表现优于当前的模型.
- 在Robust-MIS 2019上实现了高级二进制细分,并在EndoVis 2017/2018数据集上实现了多类细分.
- 通过交叉数据集验证证明了稳定性,并通过废弃研究证明了适配器的有效性.
结论:
- 介绍了一种新的方法,将ViT和CNN集成为手术仪器细分.
- 功能适配器有效地将全球ViT洞察力与本地CNN空间能力相结合.
- 整合成功地解决了手术细分中的数据限制.
