变形不变神经网络及其在扭曲图像恢复和分析中的应用
Han Zhang1, Qiguang Chen2, Lok Ming Lui2
1City University of Hong Kong, Kowloon, Hong Kong, China; Hong Kong Center for Cerebro-Cardiovascular Health Engineering, Sha Tin, Hong Kong, China.
概括
我们介绍了变形不变神经网络 (DINN),这是一个新的框架,旨在改善对几何扭曲图像的图像分析. DINN确保了一致的特征提取,提高了计算机视觉任务的性能.
科学领域:
- 计算机视觉 计算机视觉
- 深度学习 (Deep Learning) 是一种深度学习.
- 图像处理 图像处理
背景情况:
- 几何图像扭曲在计算机视觉任务中对深度学习模型构成重大挑战,例如对象识别.
- 现有的深度学习方法在处理几何扭曲图像时,往往难以准确.
研究的目的:
- 提出一种新的框架,即变形不变神经网络 (DINN),以解决当前模型在处理几何扭曲图像方面的局限性.
- 开发一种方法,在代表相同的底层物体或场景的几何扭曲图像中输出一致的潜在特征.
主要方法:
- 拟议的框架将一个近乎一致的变压器网络 (QCTN) 纳入现有的深度学习架构中.
- 该QCTN生成一个准规格地图来转换扭曲的图像,由控制局部几何扭曲的贝尔特拉米系数指导.
- QCTN被设计为轻量级,易于集成到各种深度神经网络中.
主要成果:
- 一个基于DINN的图像分类网络证明了对扭曲图像的准确分类.
- 该框架有效地恢复了大气和水流破坏的图像,优于现有的基于GAN的方法.
- 在大气动荡下对人脸图像进行1-1验证的成功应用证实了该方法的有效性.
结论:
- 变形不变神经网络 (DINN) 框架为涉及几何扭曲的成像任务提供了强大的解决方案.
- 准形态变压器网络 (QCTN) 的集成提高了对退化图像数据的深度学习模型的性能.
- 在具有挑战性的现实环境下,DINN显示了改善图像恢复和验证任务的巨大潜力.
