基于扩散模型的SAR-to-optical图像翻译的脑启发方法.
Hao Shi1,2,3, Zihan Cui1,3, Liang Chen1,3
1Radar Research Lab, School of Information and Electronics, Beijing Institute of Technology, Beijing, China.
Frontiers in neuroscience
|February 14, 2024
概括
这项研究引入了一种新的扩散模型,用于将合成孔径雷达 (SAR) 图像转换为光学图像. 这种先进的技术通过使SAR数据对用户更易于解释来增强地球观测.
科学领域:
- 遥感 遥感 遥感 遥感
- 计算机视觉 计算机视觉
- 人工智能的人工智能
背景情况:
- 合成孔径雷达 (SAR) 对于全天候,全天地球观测至关重要,但与光学图像相比,缺乏直观的解释.
- 弥合SAR和光学图像之间的解释性差距对于在地球观测中更广泛的可访问性和应用至关重要.
研究的目的:
- 开发一种新的生成模型,将SAR图像转化为光学图像,与人类的认知习惯保持一致.
- 增强特征提取能力,以改善SAR图像的解释和翻译.
主要方法:
- 建议基于扩散模型的条件图像到图像翻译框架,灵感来自人类大脑处理.
- 使用自我注意和长跳转连接机制实现了增强的功能提取.
- 使用一种新的数据增强策略来解决SAR-光学图像对的稀缺性,优化数据效率.
主要成果:
- 提出的方法成功地将SAR图像转换为高保真光学图像.
- 生成的光学图像显示清晰,避免模糊,如SAR2Opt数据集所示.
结论:
- 开发的扩散模型框架在SAR中为光学图像翻译提供了重大进展.
- 这项工作促进了SAR数据的更直观的解释,扩大了其在地球观测应用中的实用性.


