DPL++:通过图像和标签扰乱来提高网络性能.

科学领域:

• 计算机科学 计算机科学
• 机器学习 机器学习
• 人工智能的人工智能

背景情况:

• 监督学习的进步往往集中在规范化,优化器和架构上.
• 在培训样本中同时优化数据分布和监督信号尚未得到充分探索.
• 像深度扰动学习 (DPL) 这样的现有方法使用图像扰动来纠正数据分布,但忽视监督信号.

研究的目的:

• 引入一种新型范式,即深度扰动学习++ (DPL++),以提高模型的通用性.
• 通过同步优化图像和标签扰动来解决DPL的局限性.
• 与以前的方法相比,提高培训效率和降低计算复杂性.

主要方法:

• 开发了DPL++ 具有对图像和标签扰动的同步优化过程.
• 在图像和标签扰乱优化之间制定了可区分的目标.
• 应用DPL++到各种骨干架构 (ResNet,DenseNet,ViT) 和下游任务 (图像分类,对象检测).

主要成果:

• 通过修改数据分布和监管信号,DPL++显著提高了对各种基准的模型通用性.
• 与DPL相比,DPL++中的同步优化减少了计算复杂性,与DPL相比,在更少的代中实现了卓越的性能.
• 在2个视觉任务,5个基准和13个骨干网络上进行了广泛的实验,证实了DPL++的优势.

结论:

• DPL++提供了一种通用和灵活的方法来改进监督学习模型.
• 该方法在推进决策,降低风险,增强阶级区分能力和加速培训融合方面展示了有前途的能力.
• 与DPL相比,DPL++是一个显著的进步,提供了更好的性能-成本权衡.