深度扩展卷积适配器用于医疗物体跟踪和细分使用任何细分模型2的细分
Guoping Xu1, Christopher Kabat1, You Zhang1
1The Medical Artificial Intelligence and Automation (MAIA) Laboratory, Department of Radiation Oncology, University of Texas Southwestern Medical Center, Dallas, TX 75390, USA.
我们开发了DD-SAM2,这是一个高效的框架,用于调整SegmentAnything Model 2 (SAM2) 用于医疗视频细分和跟踪. 这种方法增强了特征提取,在有限的数据中实现了高性能.
科学领域:
- 医疗成像医学成像
- 深度学习 (Deep Learning) 是一种深度学习.
- 计算机视觉 计算机视觉
背景情况:
- 深度学习驱动医学图像细分,但与动态场景和模式特定设计作斗争.
- 细分任何模型2 (SAM2) 提供实时视频细分,但需要广泛的数据用于医疗适应.
- 当前的方法面临着高的计算成本,并在适应SAM2到医疗视频时面临灾难性的遗忘风险.
研究的目的:
- 提出DD-SAM2,这是医疗视频分割和跟踪中的Segment Anything Model 2 (SAM2) 的一个高效的适应框架.
- 为了增强SAM2的多尺度特征提取,使用深度扩展适配器 (DD-Adapter) 以最小的参数开销.
- 为了使SAM2在医疗视频上使用有限的训练数据进行有效的微调,并利用其流媒体内存进行对象跟踪.
主要方法:
- 开发了DD-SAM2,这是SAM2的高效适应框架.
- 包含一个深度扩展适配器 (DD-Adapter) 来改善多尺度特征提取.
- 利用SAM2的流媒体内存进行医疗视频对象跟踪和细分.
主要成果:
- 在医疗视频细分和跟踪任务中实现了卓越的性能.
- 证明了高的子得分: 0.93±0.04 在TrackRad2025 (瘤细分) 和 0.97±0.01 在EchoNet-Dynamic (左心室跟踪).
- 在医疗视频上展示了SAM2的有效微调,但培训数据有限.
结论:
- DD-SAM2提供了一种高效的解决方案,用于将SAM2适应医疗视频细分和跟踪.
- 拟议的DD-Adapter增强了特征提取,以最小的参数实现高性能.
- 这项工作代表了在医疗视频分析中基于适配器对SAM2进行微调的新探索.
相关概念视频
04:48Application of Deep Learning-Based Medical Image Segmentation via Orbital Computed Tomography
08:04Fully Automated Leg Tracking in Freely Moving Insects using Feature Learning Leg Segmentation and Tracking (FLLIT)
07:27Anterior Segment Organ Culture Platform for Tracking Open Globe Injuries and Therapeutic Performance
10:25Deep Learning-Based Segmentation of Cryo-Electron Tomograms
11:38Volume Segmentation and Analysis of Biological Materials Using SuRVoS (Super-region Volume Segmentation) Workbench
Multiple Object Tracking


