相关实验视频
Updated: Jun 28, 2025

04:48
Swin-PSAxialNet: An Efficient Multi-Organ Segmentation Technique
Published on: July 5, 2024
394
MoViT:记忆视觉转换器用于医疗图像分析
Yiqing Shen1, Pengfei Guo1, Jingpu Wu1
1Johns Hopkins University, Baltimore, USA.
概括
记忆视觉转换器 (MoViT) 减少了医疗成像AI中大数据集的需求. 这种方法使用外部内存来有效地训练变压器模型,即使数据有限,在训练少得多的情况下实现竞争性性能.
科学领域:
- 人工智能的人工智能
- 医学图像分析 医学图像分析
- 计算机视觉 计算机视觉
背景情况:
- 变压器和CNN在医学图像分析中提供了互补的好处.
- 变压器需要大量的训练数据,由于数据的限制,在医学成像方面存在挑战.
研究的目的:
- 提出一种新的记忆视觉变压器 (MoViT),以减少对大型数据集的依赖,以培训基于变压器的医疗图像分析模型.
- 提高变压器架构在数据稀缺的医学成像场景中的效率和适用性.
主要方法:
- 在训练期间,MoViT使用外部内存缓存注意力快照.
- 一个注意力时间移动平均线方案被用来通过更新记忆来防止过度匹配.
- 原型的注意力学习被用来通过将记忆分成更小的子集来加快推理速度.
主要成果:
- 在组织学和MRI数据集上,MoViT的性能优于香草变压器模型,特别是在有限的注释数据上.
- 提出的方法实现了与视觉变压器 (ViT) 相比的竞争性性能,仅使用3.0%的培训数据.
- 在各种医学图像分析任务中表现出有效性.
结论:
- 作为一个插件解决方案,MoViT可显著降低医疗图像分析中变压器架构的训练数据要求.
- 这种方法促进了开发有效的AI模型用于医学成像,即使数据可用性受到限制.

