基于扩散模型的卫星图像的同时超分辨率和深度估计

科学领域:

• 地球观测 地球观测
• 计算机视觉 计算机视觉
• 遥感 遥感 遥感 遥感

背景情况:

• 卫星图像提供了大规模的地球表面观测,对于林业和作物监测等应用至关重要.
• 目前使用卫星数据进行3D景观建模的方法有限,特别是使用高分辨率RGB图像,因为LiDAR数据稀少,标准卫星图像的分辨率低.
• 现有的研究还没有充分探索从增强的卫星RGB图像中生成详细的3D模型.

研究的目的:

• 开发一种新的方法来提高卫星图像分辨率和执行深度估计.
• 使用改进的卫星数据,实现精确的3D表面重建和详细的景观建模.
• 为了利用扩散模型的生成能力,同时进行超分辨率和深度估计.

主要方法:

• 开发了一个同时扩散模型学习框架,用于训练超分辨率 (SR) 和深度估计 (DE) 的模型.
• 该框架增强低分辨率卫星RGB图像,以生成超高分辨率版本.
• 与超分辨率图像相对应的深度地图被生成,以促进3D重建.

主要成果:

• 拟议的方法有效地提高了卫星图像的分辨率.
• 使用开发的扩散模型框架实现了准确的深度估计.
• 从增强的图像和深度地图中成功生成了详细的3D表面重建模型.
• 对多个卫星数据集的评估证实了该方法对SR和DE任务的有效性.

结论:

• 开发的同时传播模型学习框架显著改善了卫星图像分辨率和深度估计能力.
• 这种方法可以从易于获得的卫星RGB图像中进行详细的3D景观重建.
• 该方法为需要高保真度3D模型的遥感和地球观测应用提供了有希望的进步.