改善医疗视觉基础模型中高频组件的表示
IEEE transactions on medical imaging
|April 9, 2025
概括
基金会模型在医疗图像细节方面扎. 新的频率高级表示自编码器 (Frepa) 改善了高频组件表示,提高了复杂的医学成像任务的性能.
科学领域:
- 医疗成像医学成像
- 人工智能的人工智能
- 计算机视觉 计算机视觉
背景情况:
- 基础模型显示了广泛的适用性,但缺乏对医学成像至关重要的高频细节的精确性.
- 复杂的解剖结构和医学扫描中的微妙特征需要改进的表示能力.
研究的目的:
- 为医疗图像基础模型引入一种新的预训练策略,即频率高级表示自编码器 (Frepa).
- 提高医疗图像中高频组件和细粒度细节的表示性.
主要方法:
- Frepa采用高频掩盖,低频扰动和嵌入一致性学习来预训练2D和3D医疗图像.
- 一个平面图等同的图像掩盖策略将掩盖的自动编码器原则扩展到超越视觉转换器 (ViT) 的各种架构.
主要成果:
- 在9个模式和32个下游任务中,Frepa显著优于现有的自主监督预训方法.
- 改进包括在视网膜血管细分中的+15%的子得分和在没有微调的情况下检测肺瘤中的+8%的IOU.
- 定量分析证实了Frepa在图像嵌入中优越的高频表示和保存.
结论:
- Frepa解决了当前基础模型在医学成像中捕获关键高频细节方面的局限性.
- 拟议的战略显示了开发更广泛,更普遍的医学图像基础模型的潜力.


