无监督的测试时间适应学习,以获得有效的高光谱图像超分辨率,未知退化

科学领域:

• 计算机视觉 计算机视觉
• 遥感 遥感 遥感 遥感
• 机器学习 机器学习

背景情况:

• 超分辨率 (SR) 的高光谱图像 (HSI) 通常将低分辨率的HSI与高分辨率 (HR) 的多光谱图像融合在一起.
• 准确的SR依赖于使用图像先验和退化模型推断潜在HR HSI的后部分布.
• 复杂的成像环境和未知的退化阻碍了准确的后置推理.

研究的目的:

• 为HSI SR开发一个无监督的测试时间适应学习 (UTAL) 框架,以解决未知的退化.
• 通过有效地建模复杂的图像先验并估计未知的退化,提高HSI SR的准确性.
• 提高HSI SR在现实应用中的通用化性能,特别是在具有挑战性的条件下.

主要方法:

• 一个两阶段的学习方案:监督前培训的相互指导的融合模块的内容无关的先前,然后使用自导和退化估计模块无监督的适应.
• 隐含地学习共享的先验,并将其调整为后续推断的图像特定特征.
• 在各种合成SR任务上对UTAL进行超级培训,并采用替代的优化策略来实现更快的适应和更好的泛化.

主要成果:

• 拟议的UTAL框架通过有效地建模复杂的先验并估计未知的退化,准确地推断出潜在的HSI后部.
• 与现有方法相比,UTAL在HSI SR任务中表现出优越的概括性能,具有各种未知的退化.
• 经过meta训练的UTAL在具有挑战性的现实世界案例中以最小的适应步骤实现了良好的表现.

结论:

• UTAL框架通过分离先前的建模和适应,为未知的退化下HSI SR提供了强大的解决方案.
• 这种方法显著提高了HSI SR在复杂和不受约束的成像场景中的准确性和概括能力.
• UTAL在各种高强度结构修复任务中表现有前途,其性能优于当前最先进的方法.