EDMF:多焦图像的新基准与曝光差异的挑战
Hui Li1, Tianyu Shen1, Zeyang Zhang1
1International Joint Laboratory on Artificial Intelligence of Jiangsu Province, School of Artificial Intelligence and Computer Science, Jiangnan University, Wuxi 214122, China.
Sensors (Basel, Switzerland)
|November 27, 2024
概括
一个新的数据集,EDMF,解决了多焦图像融合 (MFIF) 中的曝光差异. 一种新的无监督学习方法有效地融合了不同焦点和曝光度的图像,产生了视觉上有吸引力的结果.
科学领域:
- 计算机视觉 计算机视觉
- 图像处理 图像处理
- 机器学习 机器学习
背景情况:
- 多焦图像融合 (MFIF) 将各种焦平面的图像合并在一起.
- 现有的MFIF数据集往往忽略了源图像之间的显著曝光差异.
- 曝光变化在现实世界图像融合场景中是一个关键的挑战.
研究的目的:
- 介绍MFIF研究的暴露差异多焦点 (EDMF) 数据集.
- 开发和评估一种用于处理曝光变化的图像融合的新型基线方法.
- 在焦点和曝光差异存在的情况下,提高融合图像的质量和稳定性.
主要方法:
- 创建了EDMF数据集,包括1000个现实世界智能手机捕获的图像对,具有多样化的场景,照明和显著的曝光差异.
- 提出了一种改进的无监督学习方法,利用适应性记忆单元和空间频率信息.
- 引导网络学习焦点区域的特征,在培训期间加强焦点特征提取.
主要成果:
- 拟议的EDMF数据集提供了一个更具挑战性的基准值,由于包含不同曝光的图像,因此具有数值优势.
- 基线方法有效地处理了暴露差异,与现有方法相比,实现了优越的融合性能.
- 实验结果表明,在复杂的场景中,可以生成清晰的融合图像,这些图像与人类的视觉感知保持一致.
结论:
- 欧元货币基金数据集是推动多国金融机构研究的宝贵资源,特别是在处理暴露变化方面.
- 拟议的无监督学习方法在具有挑战性的现实世界条件下显示出强大的图像融合的巨大潜力.
- 未来的工作可以利用EDMF数据集来开发更复杂的MFIF算法,能够处理各种图像退化.
