医疗图像超分辨率的深度本地到全球功能学习

科学领域:

• 医疗成像医学成像
• 人工智能的人工智能
• 计算机视觉 计算机视觉

背景情况:

• 医学图像质量对于诊断至关重要,但通常会因低分辨率和文物而受到损害.
• 现有的超分辨率 (SR) 技术与医疗图像的独特挑战作斗争,例如不同的解剖结构以及对本地和全球信息的需求.
• 标准卷积神经网络 (CNNs) 由于器官和组织外观的变化,难以准确地恢复医疗图像.

研究的目的:

• 开发一种专门为医学成像设计的高级图像超分辨率 (SR) 方法.
• 解决通用SR技术在医疗扫描中捕获精细的局部细节和基本的全球背景方面的局限性.
• 通过恢复高分辨率 (HR) 对应物来提高低分辨率 (LR) 医疗图像的诊断实用性.

主要方法:

• 一个新的CNN-ViT神经网络,称为LGSR (医疗图像超分辨率的本地到全球特征学习),被开发出来.
• 整合了一个具有可变形卷曲的动态-局部学习框架,用于捕捉各种解剖细节.
• 集成的像素-像素和补丁-补丁全球学习,使用非本地机制和视觉变换器 (ViT) 来保存全球上下文.

主要成果:

• 与最先进的方法相比,LGSR在峰值信号与噪声比率 (PSNR) 和结构相似度指数 (SSIM) 测量方面表现优越.
• 该方法在恢复五种医学成像类型 (超声波,OCT,内镜,CT,MRI) 的本地特征和全球信息方面取得了出色的视觉质量.
• LGSR显示了具有竞争力的计算成本,具有高效的网络参数,运行时间和浮点操作 (FLOP).

结论:

• 拟议的LGSR方法通过整合本地和全球特征学习,有效地提高了医疗图像超分辨率.
• 在医疗图像分析方面,LGSR提供了显著的改进,在各种数据集上优于现有的SR技术.
• 来自LGSR的增强图像质量对下游任务产生了积极的影响,例如OCT图像细分,突出了其临床相关性.