通过RGB-IR跨模态图像生成增强红外光流网络计算
Feng Huang1, Wei Huang1, Xianyu Wu1
1School of Mechanical Engineering and Automation, Fuzhou University, Fuzhou 350108, China.
Sensors (Basel, Switzerland)
|March 13, 2024
概括
研究人员开发了一种新的方法来生成红外 (IR) 光流数据集. 这克服了用于IR图像分析的深度学习的局限性,将其应用扩展到RGB图像之外.
科学领域:
- 计算机视觉 计算机视觉
- 机器学习 机器学习
- 红外成像技术 红外成像技术
背景情况:
- 目前对光流的深度学习仅限于RGB图像,因为捕获真实红外 (IR) 光流具有挑战.
- 这限制了光学流量计算在IR领域的应用和研究.
研究的目的:
- 提出一种方法来生成一个光流数据集,专门用于IR图像.
- 在红外图像上实现基于深度学习的光流计算.
主要方法:
- 使用RGB-IR跨模态图像转换网络,基于改进的Pix2Pix实现.
- 通过使用M3FD RGB-IR对齐的双模式数据集验证了转换网络.
- 将转换应用于KITTI RGB光流数据集,以生成用于训练的IR图像.
主要成果:
- 使用转换的IR图像训练了一个光流计算网络.
- 在训练IR数据之前和之后分析了光流网络的性能.
- 证明了生成和使用红外光流数据集的可行性.
结论:
- 拟议的方法通过转换现有的RGB数据集,成功生成了IR光流数据集.
- 这种方法扩大了深度学习应用的范围,用于将光流计算扩展到红外频谱.
- 该研究为基于IR的计算机视觉任务的未来研究提供了基础.
