分析参数高效的卷积神经网络架构用于视觉分类
Nazmul Shahadat1, Anthony S Maida2
1School of Science and Mathematics, Truman State University, Kirksville, MO 63501, USA.
Sensors (Basel, Switzerland)
|December 31, 2025
概括
本综述探讨了参数有效的卷积神经网络 (CNN),以降低计算成本. 新的超复杂和轴向注意力模型显著降低参数,同时保持视觉识别任务的高精度.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 深度学习架构 深度学习架构
背景情况:
- 深度和宽度的卷积神经网络 (CNN) 占据了视觉识别的优势,但产生了高的计算和记忆成本.
- 参数效率对于在资源有限的设备上部署CNN至关重要.
- 现有的高效架构,如MobileNets和SqueezeNets,在效率和准确性之间提供了权衡.
研究的目的:
- 审查最近在参数效率CNN设计方面的进展.
- 引入新的超复杂和基于注意力的CNN架构.
- 分析这些高效模型的性能与已建立的基准进行比较.
主要方法:
- 探索具有跨道重量共享的超复杂表示.
- 实现特征表示的轴性注意力机制.
- 开发使用可分离卷积的实值架构.
- 介绍了全超复杂神经网络 (FHNNs),表示轴注意力 (RepAA) 模型和可分离的超复杂网络 (SHNNs).
- 在SHNN中将四边形卷曲分解为顺序向量图运算.
- 与使用剩余一维卷积网络 (RCN) 的MobileNets和SqueezeNets进行比较.
主要成果:
- 超复杂的表示,轴注意力和可分离的卷积有效地减少了参数数量.
- FHNN和RepAA模型显示了提高效率.
- 通过因子化四次离子卷积,SHNN可以实现大约50%的参数减少.
- 与现有模型相比,RCN在图像分类和超分辨率方面表现出竞争力的表现,参数明显减少.
结论:
- 参数高效的CNN设计对于推进视觉识别至关重要.
- 新的超复杂和基于注意力的架构可以大大降低计算开销.
- 未来的研究应该专注于进一步优化CNN以提高效率,而不会影响准确性.
