S³OIL:通过多尺度和跨集匹配进行半监控的SAR-to-Optical图像翻译

科学领域:

• 计算机视觉 计算机视觉
• 机器学习 机器学习
• 遥感 遥感 遥感 遥感

背景情况:

• 图像对图像的翻译是成功的,但受到有限的配对数据的挑战,特别是对于合成孔径雷达 (SAR) 到光学图像的翻译.
• 现有的半监督方法往往忽视了数据分布,影响了翻译质量.

研究的目的:

• 提出一种半监督的SAR-to-Optical图像转换 (S3OIL) 方法,用于使用最小的配对数据和大量的未配对数据生成高质量的图像.
• 战略性地利用数据分布来提高翻译性能.

主要方法:

• 引入了一个交叉集对齐匹配 (CAM) 机制,用于本地对应和交叉集一致性.
• 应用弱/强扰动和多尺度匹配 (MSM) 对未配对数据;用于配对数据的内部模态语义一致性 (ISC).
• 拟议的本地/全球跨模态语义一致性 (CSC) 增强结构性认同.

主要成果:

• 在SAR-to-optical和sketch-to-anime数据集上,S3OIL展示了与最先进的方法相比具有竞争力的性能.
• 实验证实S3OIL能够保持语义内容和结构完整性的能力.
• 定量和定性评估验证了该方法的有效性.

结论:

• S3OIL有效地解决了SAR-to-optical图像转换中的有限配对数据的挑战.
• 拟议的方法通过利用数据分布和一致性约束来提高图像生成质量.
• 对于半监督的图像翻译任务,S3OIL提供了一个强大的解决方案.