杜阿迪夫:用于导向热图像超分辨率的双条件扩散模型

科学领域:

• 计算机视觉 计算机视觉
• 图像处理 图像处理
• 人工智能的人工智能

背景情况:

• 热成像具有较低的空间分辨率,限制了其应用.
• 通过高分辨率可见图像增强热图像是具有挑战性的,因为模式和分辨率的差异.

研究的目的:

• 开发一种创新的扩散模型,用于导向热图像的超分辨率 (SR).
• 解决现有的SR方法在处理热和可见图像之间的显著模式和分辨率差距方面的局限性.

主要方法:

• 引入了双条件扩散 (DuaDiff),一种具有双条件机制的扩散模型.
• 整合了一个可学习的拉普拉斯金字塔,从可见图像中提取多尺度的高频细节.
• 利用语义潜伏空间投影和多式潜伏特征交叉注意模块来增强特征交互.

主要成果:

• 在FLIR-ADAS和CATS数据集上,DuaDiff在视觉质量和度量评估方面都超过了最先进的方法,用于4x和8xSR.
• 证明了卓越的性能,特别是在热和可见图像之间的分辨率差距较大的场景中.
• 证实了DuaDiff在下游任务中恢复高保真语义信息的能力.

结论:

• 拟议的DuaDiff模型通过利用互补的调节策略,有效地提高了热图像超分辨率.
• 将拉普拉斯金字塔和语义潜伏空间调节相结合,在各种分辨率差距上提供了强大的性能.
• DuaDiff为高保真热图像增强和语义信息恢复提供了一个有前途的解决方案.