模拟尖端U-Net集成CBAM&ViT用于医疗图像细分
Yuqi Ma1, Huamin Wang1, Hangchi Shen1
1College of Artificial Intelligence, Southwest University, Chongqing 400715, China; National & Local Joint Engineering Laboratory of Intelligent Transmission and Control Technology, Chongqing, 400715, China.
概括
本研究介绍了Analog Spiking U-Net (AS U-Net),这是一个新的尖端神经网络 (SNN) 模型,它集成了改善低功耗AI的注意力机制. 在糖尿病视网膜血管细分方面,AS U-Net实现了最先进的性能.
科学领域:
- 人工智能的人工智能
- 深度学习 (Deep Learning) 是一种深度学习.
- 计算神经科学是一种神经科学.
背景情况:
- 尖端神经网络 (SNN) 在深度学习中为传统人工神经网络 (ANN) 提供了低功耗,生物可解释的替代方案.
- 密集的预测任务,如医疗图像细分,正在越来越多地使用SNN进行探索.
- 将像卷积块注意模块 (CBAM) 这样的高级模块集成到SNN中是一项挑战,但具有提高性能的潜力.
研究的目的:
- 提出一种新的修改后的Spiking U-Net架构,称为Analog Spiking U-Net (AS U-Net),能够整合卷积块注意模块 (CBAM).
- 评估AS U-Net与CBAM在糖尿病视网膜血管细分方面的有效性,旨在提高准确性和减少信息丢失.
- 在各种细分和图像生成任务中展示拟议的SNN模型的最先进 (SOTA) 性能和概括能力.
主要方法:
- 开发了传统的Spiking U-Net架构的新修改,调整神经元发射位置以创建模拟Spiking U-Net (AS U-Net).
- 卷积块注意模块 (CBAM) 已成功集成到AS U-Net中,标志着SNN框架内首次实施CBAM.
- 该AS U-Net模型在糖尿病视网膜血管细分数据集的合并数据集上使用直接编码进行训练,并在ISBI,ISIC,Synapse和生成任务上进行进一步测试.
主要成果:
- 拟议的AS U-Net在糖尿病视网膜血管细分方面实现了最高的细分精度,优于其他SNN和大多数ANN模型.
- 该模型表现出与具有相同架构的ANN模型具有可比性能的性能,并且在考虑精度和能源效率方面取得了SOTA结果.
- 废弃性分析证实了SNN中CBAM的可行性和有效性,表明它对未来硬件部署的实用性.
结论:
- 模拟尖端U-Net (AS U-Net) 在将SNN应用于密集预测任务方面取得了重大进展,特别是在医疗图像细分方面.
- 将CBAM成功集成到SNNs中,提高了细分性能,减少了信息丢失,为高效的AI提供了一种新方法.
- AS U-Net在各种细分和图像生成任务中展示了强大的概括能力,突出了其广泛的适用性和硬件实现的潜力.
