HNOSeg-XS:极小的哈特利神经操作器,用于高效和高分辨率的3D图像分割

科学领域:

• 医疗成像医学成像
• 人工智能的人工智能
• 计算科学 计算科学

背景情况:

• 卷积神经网络 (CNN) 和变压器主导医疗图像细分,但由于离散的训练方法,它们面临诸如高计算成本,内存需求和在更高分辨率下低于最佳性能等局限性.
• 通过顺序层,CNN捕获远程相关性,而变压器使用多头注意力,这两者都导致计算挑战和潜在的输入大小减少,这可能会损害细分质量.

研究的目的:

• 推出HNOSeg-XS,一种用于医疗图像分割的新,分辨率强大的架构.
• 解决现有的CNN和变压器模型在计算效率,内存使用和不同分辨率的性能一致性方面的局限性.

主要方法:

• 该HNOSeg-XS架构模型图像分割使用可学习的部分微分方程,通过福里埃神经运算符实现,利用其零拍摄超分辨率属性.
• 这种方法用哈特利变换取代富里埃变换,在频域中重新制定了细分问题,以提高分辨率的稳定性.

主要成果:

• 在不到34.7k的模型参数中,HNOSeg-XS表现出卓越的分辨率稳定性.
• 该模型在使用特斯拉V100 GPU的BraTS'23,KiTS'23和MVSeg'23数据集上实现了最好的总体推断时间 (<0.24s) 和内存效率 (<1.8GiB).
• 在速度,内存和参数效率方面,超越了经过测试的CNN和变压器模型.

结论:

• HNOSeg-XS为医疗图像细分提供了一个快速,内存高效和极其参数高效的解决方案.
• 拟议的架构克服了传统模型的依赖于分辨率的性能问题,在各种分辨率上提供了强大的细分.
• 在医疗图像细分任务中,HNOSeg-XS为当前主导模型提供了一个有希望的替代方案.