塞比尔:语义引导的爆发图像恢复
Huan Liu1, Mingwen Shao1, Yecong Wan1
1School of Computer Science and Technology, China University of Petroleum (East China), Qingdao 266580, China.
概括
本研究介绍了SeBIR,这是用于爆发图像恢复的语义指导模型. 它使用分段任何模型 (SAM) 改进了对齐和融合,以减少文物并增强低质量的图像中的细节.
科学领域:
- 计算机视觉 计算机视觉
- 图像处理 图像处理
- 人工智能的人工智能
背景情况:
- 冲击图像恢复可以从多个低质量的快照中恢复细节.
- 现有的方法与框架间的错位和各种降解作斗争,导致工件.
- 需要适应性恢复,考虑到多空间时间退化.
研究的目的:
- 为爆发图像恢复提出一个通用语义导向模型 (SeBIR).
- 利用来自Segment Anything Model (SAM) 的语义先验知识进行自适应恢复.
- 解决现有方法在处理框架间错位和时空变化降解方面的局限性.
主要方法:
- 使用语义知识开发了一个共同的隐式和显式策略,用于使用语义知识进行框架间对齐.
- 开发了一个语义引导的融合模块,利用SAM的中间特征进行自适应特征调制.
- 设计了一个语义引导的局部损失,以提高局部一致性和图像质量.
主要成果:
- 通过语义指导,SeBIR有效地实现了框架间对齐.
- 语义引导的融合模块可自适应地调节特征,减弱降解和加强互补信息.
- 广泛的实验表明,在各种爆发图像恢复任务上,在数量和质量上表现出色.
结论:
- SeBIR提供了一种新的语义导向方法,用于强大的爆发图像恢复.
- 整合SAM的语义先验知识使得自适应性恢复成为可能,优于现有方法.
- 拟议的方法在爆发超分辨率,消噪和低光增强方面取得了显著的改进.
