相关实验视频
Updated: Jun 24, 2025
13:19
Deep Neural Networks for Image-Based Dietary Assessment
Published on: March 13, 2021
9.0K
稳定张量神经网络,以实现高效的深度学习
Elizabeth Newman1, Lior Horesh2, Haim Avron3
1Department of Mathematics, Emory University, Atlanta, GA, United States.
Frontiers in big data
|June 14, 2024
概括
张量神经网络 (t-NN) 为复杂的数据提供了高效的深度学习. 这些网络利用张量表示来减少参数,提高速度和内存,用于高维函数近似.
科学领域:
- 计算数学 计算数学 计算数学
- 深度学习 (Deep Learning) 是一种深度学习.
- 张量计计算 张量计计算
背景情况:
- 深度神经网络 (DNN) 是有效的高维函数近似器.
- 张量在深度学习中自然会作为数据,权重和特征出现,通常会导致计算瓶.
- 有效的参数化对于训练DNN处理复杂的多维数据至关重要.
研究的目的:
- 为高效的DNN参数化提出张量神经网络 (t-NN).
- 为了利用张量表示和处理用于高维数据学习.
- 将现有的DNN框架,如稳定的神经网络,扩展到一个多维张量语境.
主要方法:
- 开发了张量神经网络 (t-NN) 作为完全连接网络的延伸.
- 利用矩阵模拟式张量-张量产物来保持代数性质并捕获相关性.
- 扩展了稳定神经网络的框架,将DNN解释为微分方程离散.
主要成果:
- t-NN可以在一个缩小,强大的参数空间中进行高效的训练.
- 在减小维度 (自动编码器) 和分类任务中,t-NN的参数优势已被证明.
- 在使用完全连接和稳定的t-NN变体的MNIST和CIFAR-10基准成像数据集上进行实证验证.
结论:
- t-NN 提供了一种高效,强大的深度学习方法,使用高维,多路数据进行深度学习.
- 提出的基于张数的方法解决了DNN中的计算瓶.
- t-NNs为推进深度学习架构和应用提供了一个有前途的方向.
