用于热图像的非线性尖端神经系统 语义细分网络
Peng Wang1, Minglong He1, Hong Peng1
1School of Computer and Software Engineering, Xihua University, Chengdu 610039, P. R. China.
International journal of neural systems
|May 19, 2025
概括
本研究介绍了CSPM-SNPNet,这是一个用于RGB-Thermal语义细分的新型网络. 它有效地融合了颜色和热数据,在复杂的场景中显著提高了性能.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 生物医学成像技术 生物医学成像技术
背景情况:
- RGB和热图像提供补充信息,对于低光条件至关重要.
- 在RGB-Thermal数据中的空间差异阻碍了语义细分中的多模式特征融合.
- 现有的方法在融合过程中难以处理信息丢失,从而限制了性能.
研究的目的:
- 提出一个新的网络,CSPM-SNPNet,用于有效的RGB-Thermal语义细分.
- 为应对多式联运特征融合和空间信息丢失方面的挑战.
- 为了增强特征提取和恢复分割图像中的空间上下文.
主要方法:
- 开发了一个通道空间融合模块,用于整合RGB和热图像功能.
- 引入了一个非线性尖端神经P系统与卷积 (ConvSNP) 增强解码.
- 在RGB-Thermal语义细分任务中使用了拟议的CSPM-SNPNet模型.
主要成果:
- CSPM-SNPNet在MFNet和PST900数据集上的细分性能显著改善.
- 与现有方法相比,在MFNet上实现了0.5%的mIOU增长,在PST900上达到1.8%.
- 有效地恢复空间上下文信息,增强特征表示.
结论:
- 拟议的CSPM-SNPNet有效地克服了RGB-Thermal数据中的空间差异.
- 新型融合模块和尖端神经P系统增强了多式联络特征集成和提取.
- CSPM-SNPNet表现出卓越的性能,特别是在复杂和具有挑战性的视觉场景中.
