混合稀疏变压器和基于波形融合的深度展开网络,用于高光谱快照压缩成像
Yangke Ying1, Jin Wang2, Yunhui Shi1
1Beijing Key Laboratory of Multimedia and Intelligent Software Technology, Beijing Institute of Artificial Intelligence, School of Information Science and Technology, Beijing University of Technology, Beijing 100124, China.
Sensors (Basel, Switzerland)
|October 16, 2024
概括
这项研究引入了一种新的深度展开网络,用于高光谱图像重建,增强特征表示和融合. 该方法显著提高了使用稀疏变压器和波纹融合的重建性能.
科学领域:
- 计算机视觉 计算机视觉
- 信号处理 信号处理
- 机器学习 机器学习
背景情况:
- 深度展开的网络显示出对高光谱快照压缩成像的承诺.
- 变压器模型越来越多地使用,但往往不充分利用自我注意力.
- 现有的方法缺乏有效的阶段内和阶段间特征融合.
研究的目的:
- 开发一种先进的深度展开网络,用于高光谱图像重建.
- 在超光谱成像算法中增强特征表示和融合机制.
- 克服当前基于变压器的超频谱重建方法的局限性.
主要方法:
- 稀疏变压器和波纹融合在深层展开网络中的混合.
- 开发空间和光谱稀疏变压器,以获得有针对性的关注.
- 基于波纹的方法的集成,用于阶段内和阶段间的特征融合.
主要成果:
- 拟议的空间和光谱稀疏变压器有效地吸引了HSI数据的注意.
- 基于波纹的融合显著增强了阶段内和阶段间的特征集成.
- 实验结果表明,高超光谱图像重建性能优越.
结论:
- 这种新型的混合网络提升了高光谱图像重建能力.
- 稀疏变压器和波纹融合是提高性能的关键组成部分.
- 这种方法为高光谱快照压缩成像提供了优越的解决方案.
