相关实验视频
Updated: Jun 15, 2025
04:48
Swin-PSAxialNet: An Efficient Multi-Organ Segmentation Technique
Published on: July 5, 2024
379
胃肠内镜AI的基础模型:架构的影响,预培训方法和数据效率
Tim G W Boers1, Kiki N Fockens2, Joost A van der Putten1
1Eindhoven University of Technology, Groene Loper 3, 5612 AE Eindhoven, The Netherlands.
Medical image analysis
|August 22, 2024
概括
使用自主监督学习的胃肠道内镜图像的特定领域预训练,特别是使用DINO框架,与自然图像预训练相比,显著提高了深度学习模型的性能和稳定性.
科学领域:
- 医学成像分析 医学成像分析
- 深度学习 (Deep Learning) 是一种深度学习.
- 计算机视觉 计算机视觉
背景情况:
- 标准的深度学习预训练使用像ImageNet这样的自然图像数据集,但其对医疗内镜的有效性尚不确定.
- 高质量的医疗图像数据集很少,这使得传统培训具有挑战性.
- 用更接近目标域的数据进行域内预训练可能会产生更优质的特征表示.
研究的目的:
- 评估在胃肠道内镜图像分析领域内预训练的好处.
- 将医疗图像的自我监督学习与自然图像的监督预训练进行比较.
- 评估对下游任务的模型性能和稳定性的影响.
主要方法:
- 开发了GastroNet-5M,一个包含超过500万张胃肠内镜图像的数据集.
- 雇员自主监督的学习框架 (SimCLRv2,MoCov2,DINO) 用于领域内的预培训.
- 在五个下游任务 (例如,GIANA,Kvasir-SEG) 中,与自然图像预训练 (ImageNet-21k,半弱监督的亿级学习) 的学习特征进行了比较.
主要成果:
- 自主监督的域内预训,特别是DINO,表现优于自然形象预训.
- 在下游任务中,DINO预训练提高了1.63% (ResNet50) 和4.62% (Vision-Transformer-small) 的性能.
- 在域内预训练的模型显示出对扭曲的强度增加,平均改善1.28% (ResNet50) 和3.55% (视觉转换器-小).
结论:
- 在医疗图像分析中增强深度学习的领域内预培训至关重要.
- 在域特定数据 (GastroNet-5M) 上进行自主监督学习,提供优质的功能学习.
- 公开发布的GastroNet-5M预训练重量促进了未来的研究和开发.
