走向一个灵活的语义导向模型,用于单个图像增强和恢复

科学领域:

• 计算机视觉 计算机视觉
• 图像处理 图像处理
• 人工智能的人工智能

背景情况:

• 低光图像增强 (LLIE) 旨在改善黑暗环境中的图像质量.
• 现有的LLIE方法通常采用均增强,忽视区域语义细节,导致颜色扭曲.
• 纳入语义信息对于准确和自然的低光图像增强至关重要.

研究的目的:

• 提出一种新的语义意识知识导向框架 (SKF),用于在低光下增强图像.
• 开发一个可通用的框架,将语义先验集成到LLIE模型中.
• 引入SKF++与额外的技术来增强类内回收和对比度调整.

主要方法:

• 开发了一个语义意识的嵌入模块,将语义先验集成到特征表示中.
• 引入了语义导向的颜色直方体损失,以保持颜色一致性.
• 利用语义引导的对抗性损失来生成自然纹理.
• 拟议的SKF++具有额外的卷积分支和基于均等的直方形转换.

主要成果:

• 配备SKF/SKF++的模型在LLIE基准上显著超过了基线方法.
• 拟议的框架在不同模型和场景中表现出强烈的概括性.
• 在低光环境中,SKF/SKF++显示了面部检测和语义细分等下游任务的潜在好处.

结论:

• 语义意识的知识导向框架 (SKF) 通过利用语义信息,有效地增强低光图像.
• SKF++在图像质量和动态范围方面提供了进一步的改进.
• 提出的方法为低光图像增强和相关应用提供了强大的和可通用的解决方案.