通过上下文交叉注意力进行通用医疗图像细分

科学领域:

• 医学图像分析 医学图像分析
• 计算机视觉 计算机视觉
• 人工智能的人工智能

背景情况:

• 传统的专家模型难以适应新的医学成像任务和分布转移.
• 通用预训练模型和通用细分方法提供解决方案,通用方法在多功能性和样本效率方面表现出色.
• 现有的通用方法可以通过从支持集中进行相关区域预选来改进.

研究的目的:

• 开发一种新的通用细分方法,通过利用支持集的相关信息来提高准确性.
• 为了提高采样效率和整合便利性,在医疗图像注释管道中使用通用细分模型.
• 为医疗图像细分提供可解释的AI方法.

主要方法:

• 实施了通用细分方法,利用查询和支持图像之间的交叉注意力.
• 引入了一个注意力升级机制,用于在多分辨率特征上高效的交叉注意力计算.
• 开发了一个可解释模块,以可视化对细分输出的相关支持集区域.

主要成果:

• 在29个医疗数据集,9个成像模式和135个细分任务中实现了一致的性能改进,即使使用轻量级模型.
• 通过增加支集大小,在细分精度上获得了明显的比例增长,通过交叉注意力突出了有效的支图像选择.
• 与LayerCAM等既定方法相比,可解释性模块显示出具有竞争力或优越的可解释性.

结论:

• 拟议的通用细分方法有效地提高了医学图像分析的准确性和可解释性.
• 交叉注意力和注意力升级是实现多功能和高效医疗图像细分的关键创新.
• 这种方法为医疗成像中的强大和可解释的AI提供了一个有希望的方向.