检查光学偏差对图像分类和物体检测模型的影响

科学领域:

• 计算机视觉 计算机视觉
• 深度学习 (Deep Learning) 是一种深度学习.
• 图像处理 图像处理

背景情况:

• 深度神经网络 (DNN) 在计算机视觉中至关重要,即使在安全关键的应用中,也需要强大的性能来应对像模糊这样的图像干扰.
• 现有的基准标准往往简化了模糊,未能从真实光学系统中捕捉到复杂的内核形状,从而限制了准确的稳定性评估.

研究的目的:

• 开发和引入现实的模糊数据集,OpticsBench和LensCorruptions,用于评估视觉模型的稳定性.
• 在这些新数据集上评估预训练模型的性能变化,揭示当前稳定性评估的局限性.

主要方法:

• OpticsBench数据集:使用泽尼克多项式,专注于初级偏差 (昏迷,失焦,纹).
• 镜片腐败数据集:包含了泽尼克多项式的线性组合,模拟了具有不同光学特性的100个真实世界镜片.
• 通过使用ImageNet和MSCOCO数据集对图像分类和物体检测任务进行了评估.

主要成果:

• 在OpticsBench和LensCorruptions数据集上的各种预训练模型中观察到显著的性能下降.
• 这些发现强调了当前模糊模拟方法对于全面的模型稳定性评估的不足.
• "光学增强"框架表现出更好的稳定性,在OpticsBench上实现了实质性的性能提升,并且在用于数据增强时常见的腐败.

结论:

• 现实的光学模糊显著影响深度神经网络的性能,需要使用像OpticsBench和LensCorruptions这样的数据集进行准确的稳定性评估.
• 在数据增强策略中使用光学模糊内核,如OpticsAugment,可以增强模型的稳定性,防止现实世界的图像退化.