相关实验视频
Updated: Jul 7, 2026
13:19
Deep Neural Networks for Image-Based Dietary Assessment
Published on: March 13, 2021
9.0K
混合列车:通过输入混合加速DNN培训
Sarada Krithivasan1, Sanchari Sen2, Swagath Venkataramani2
1Department of Electrical and Computer Engineering, Purdue University, West Lafayette, IN, United States.
Frontiers in artificial intelligence
|October 2, 2024
概括
输入混合将多个数据输入结合为一个用于训练深度神经网络 (DNN),显著减少训练时间. 这种方法通过在每个时代处理更少的小批量来加快DNN训练.
科学领域:
- 计算机科学 计算机科学
- 人工智能的人工智能
- 机器学习 机器学习
背景情况:
- 深度神经网络 (DNN) 培训需要大量的计算资源,时间和精力.
- 越来越复杂的数据集是最先进的DNN长期培训时间的一个关键因素.
研究的目的:
- 调查输入混合作为加速DNN培训的策略.
- 为了减轻因天真输入混合而导致的准确性降低.
主要方法:
- 开发了通过将多个输入组合成一个具有复合标签的单个复合输入的输入混合.
- 引入了通过利用特征空间分离和适应变化的混合比率来减少输入间干扰的策略.
- 建议用于自动选择数据子集进行混合的启发式学习.
主要成果:
- 在ImageNet和Cifar10数据集上分别实现了1.6x和1.8x的训练加速度.
- 在包括ResNets,MobileNetV2和Vision Transformers在内的各种架构中展示了加速.
- 保持了对分类准确性的微不足道的损失.
结论:
- 输入混合,当优化与建议的策略,可以显著减少DNN培训时间.
- 开发的方法可以更快地训练深度学习模型,而不会影响性能.
- 这种方法为计算密集型深度学习任务提供了实际解决方案.
