通过等级梯度对齐来解决现实的多模态医学图像细分中的不平衡的模态不完整性

科学领域:

• 医学图像分析 医学图像分析
• 机器学习 机器学习
• 计算机视觉 计算机视觉

背景情况:

• 多模式学习在医学图像细分方面显示出前景.
• 由于各种来源,现实世界的数据往往遭受模式不完整的困扰.
• 现有的方法在训练数据限制和模型不平衡方面扎.

研究的目的:

• 制定和解决医学图像细分中不完整的多模式学习的挑战.
• 建议等级梯度对齐 (HGA) 在培训期间平衡单模和多模数据.
• 在缺少模式的情况下,提高模型的公平性,稳定性和性能.

主要方法:

• 建议使用等级梯度对齐 (HGA),利用顺序的元学习来实现多模式组合和多级自蒸来实现单模式数据.
• 梯度方向对齐是通过meta-learning和自我蒸来实现的.
• 梯度大小对齐是使用相对偏好估计来平衡模式优势进行的.

主要成果:

• 对于不完整和不平衡的多模式学习,HGA的表现始终优于最先进的方法.
• 在五个公共基准 (BraTS,MyoPS,MSSEG) 上的实验验验证了HGA的有效性.
• HGA 作为一个 plug-and-play 模块,在各种 backbones 上增强性能.

结论:

• 在医疗图像细分方面,HGA有效地解决了单模和多模不平衡的挑战.
• 拟议的方法为具有不完整多式联运数据的场景提供了可靠的解决方案.
• HGA提供了持续的性能改进,并且可以适应不同的网络架构.