带有延迟意识的统一动态网络,用于高效的图像识别

科学领域:

• 深度学习 (Deep Learning) 是一种深度学习.
• 计算机视觉 计算机视觉
• 人工智能的人工智能

背景情况:

• 动态网络选择性地激活计算单元或将资源分配给信息丰富的区域,减少不必要的计算.
• 动态模型的实际效率往往落后于理论潜力,原因是分散的框架,不充分的调度策略和复杂的延迟评估.

研究的目的:

• 引入延迟意识统一动态网络 (LAUDNet),这是一个解决动态深度学习模型实际效率差距的总体框架.
• 将空间适应计算,层跳转和通道跳转集成到一个统一的配方中.
• 通过硬件意识的延迟预测器来增强调度优化.

主要方法:

• 开发了LAUDNet,这是一个统一的框架,集成了三个动态推理范式:空间适应计算,层跳转和通道跳转.
• 整合了一个延迟预测器来优化调度策略,并准确地估计特定硬件上的推理延迟.
• 在图像分类,对象检测和实例细分任务中评估LAUDNet.

主要成果:

• 劳德网显著弥合了动态网络的理论和实际效率之间的差距.
• 在V100,RTX 3090和TX2 GPU等硬件平台上为ResNet-101实现了超过50%的实际延迟减少.
• 与现有方法相比,证明了更高的准确性-效率权衡.

结论:

• 劳德网为动态网络推断提供了统一和高效的解决方案,改善了硬件利用率.
• 该框架有效地减少了延迟,并在各种计算机视觉应用中提高了性能.
• 劳德网在优化动态深度学习模型的实际部署方面取得了重大进展.