多目标地标检测与不完整的图像通过强化学习和形状之前嵌入嵌入
Kaiwen Wan1, Lei Li2, Dengqiang Jia3
1School of Data Science, Fudan University, Shanghai, 200433, China.
Medical image analysis
|July 13, 2023
概括
本研究引入了一个多代理强化学习 (RL) 框架,用于在医学图像中强大的多目标地标检测,即使缺少数据. 该方法有效地从不完整的图像中学习全球结构,提高了地标检测的准确性.
科学领域:
- 医疗成像医学成像
- 人工智能的人工智能
- 计算机视觉 计算机视觉
背景情况:
- 医疗图像通常具有有限的视野 (FOV),导致不完整的感兴趣区域 (ROI) 和分析中的挑战.
- 基于学习的多目标地标检测算法与不同的FOV扎,经常误解背景变化并无法检测目标.
研究的目的:
- 提出一种新的多代理强化学习 (RL) 框架,用于同时检测多目标地标.
- 通过学习隐含的全球结构,从不完整或完整的医学图像中实现准确的地标检测.
- 通过明确地将形状模型纳入RL流程以提高不完整图像分析的稳定性.
主要方法:
- 开发了一个多代理RL框架,用于同时检测多目标地标.
- 训练框架从完整和不完整的图像中学习隐含的全球结构.
- 将形状模型集成到RL过程中,以明确利用不完整数据的全球结构信息.
主要成果:
- 拟议的RL模型成功地同时定位了数十个目标,并证明了不完整图像的稳定性.
- 在身体双能X射线吸收度 (DXA),心脏MRI和头部CT数据集上得到验证.
- 即使缺少高达80%的训练图像比例 (例如,身体DXA上的2.29厘米平均距离误差),也可以达到高精度,并且在缺少的FOV区域中检测到看不见的地标 (3.D半头CT上的6.84毫米平均距离误差).
结论:
- 多代理RL框架有效地解决了由于有限的FOV和不完整数据导致的医疗图像分析方面的挑战.
- 形状模型的整合进一步提高了模型利用全球结构信息进行强大的地标检测的能力.
- 该方法对临床应用具有显著的前景,涉及在各种医学成像模式下多目标地标检测.
