语义和几何意识的日夜图像翻译网络
Geonkyu Bang1, Jinho Lee1, Yuki Endo2
1Emerging Design and Informatics Course, Graduate School of Interdisciplinary Information Studies, The University of Tokyo, 4 Chome-6-1 Komaba, Meguro-ku, Tokyo 153-0041, Japan.
Sensors (Basel, Switzerland)
|February 24, 2024
概括
这项研究引入了一个无监督的网络,用于日夜图像转换,改善在恶劣天气下自动驾驶的感知. 该方法使用语义和几何注意力图来获得更好的视觉效果.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 自主系统 自主系统
背景情况:
- 自动驾驶系统依赖于感知,但目前的数据集缺乏雨和夜晚等不利条件.
- 现有的深度学习模型在低可见性环境中难以处理感知任务.
研究的目的:
- 开发一个无监督的图像对图像翻译网络,用于日夜转换.
- 为了应对对不利条件的未配对数据的训练感知模型的挑战.
主要方法:
- 提出一个无监督的网络,用于日夜的图像翻译.
- 使用多任务学习提取语义和几何信息,用于语义细分和深度估计.
- 将提取的信息作为空间注意力地图集成到图像到图像翻译网络中.
主要成果:
- 拟议的方法显示了对现有方法的定性和定量改进.
- 在日夜图像翻译中增强视觉呈现.
结论:
- 无监督网络有效地将白天图像转换为夜晚图像,增强知觉模型的稳定性.
- 注意地图集成方法在自动驾驶领域的域翻译中对处理未配对数据充满希望.


