对二进制神经网络的基于注意力的批量规范化
Shan Gu1, Guoyin Zhang1, Chengwei Jia1
1College of Computer Science and Technology, Harbin Engineering University, Harbin 150009, China.
Entropy (Basel, Switzerland)
|June 26, 2025
概括
基于注意力的批量规范化 (ABN) 通过整合自我注意力机制来增强二进制神经网络 (BNN). 这种新的方法可以提高图像分类的准确性和跨各种数据集和架构的模型稳定性.
科学领域:
- 计算机科学 计算机科学
- 人工智能的人工智能
- 机器学习 机器学习
背景情况:
- 二元神经网络 (BNNs) 使用离散的{-1,1}激活,与完全精确的网络有很大的不同.
- 批量规范化 (BN) 对BNN性能至关重要,但由于激活约束,其作用需要特定的理解.
- 现有研究强调了需要针对BNN量身定制的新型BN方法.
研究的目的:
- 为二进制神经网络 (BNN) 引入一种新的基于注意力的批量规范化 (ABN) 方法.
- 调查BNN层内的自我注意机制对BNN的影响.
- 分析ABN提供的性能改进和稳定性增长.
主要方法:
- 通过将自我注意纳入BN层,开发了基于注意的批量规范化 (ABN).
- 进行了废除研究,以分析ABN方法中的参数权衡.
- 对ABN对BNN特征和性能的影响进行实验分析.
主要成果:
- ABN有效地捕捉图像特征,并提供类似激活的功能,提高BNN的性能.
- 该方法增加了激活分布不平衡,有助于提高准确性.
- 在CIFAR10,CIFAR100和TinyImageNet的图像分类实验中,ABN始终表现优于标准BN.
结论:
- 基于注意力的批量规范化 (ABN) 对BNN的标准批量规范化提供了显著的改进.
- 在图像分类任务中,ABN提高了BNN的准确性和稳定性.
- 拟议的方法在不同的数据集和网络架构中展示了稳定性.
