一个通用的注意力机制,以提高神经网络的精度性能
Pengcheng Jiang1, Ferrante Neri2, Yu Xue1
1School of Software, Nanjing University of Information Science and Technology, Nanjing 210044, P. R. China.
International journal of neural systems
|August 30, 2024
概括
本研究介绍了一种通用的注意力机制 (GAM),通过专注于每个层的相关数据来提高机器学习模型的准确性. GAM提高了分类性能,对培训时间和参数的影响最小.
科学领域:
- 计算机科学 计算机科学
- 人工智能的人工智能
- 机器学习 机器学习
背景情况:
- 在现代机器学习 (ML) 中,注意力机制 (AM) 对于识别重要的输入数据至关重要.
- 传统上,AMs在神经网络之前作为预处理步骤,增强分类.
- 现有的方法将注意力机制的应用限制在ML模型处理的初始阶段.
研究的目的:
- 将注意力机制的应用扩展到ML模型中的中间阶段.
- 引入一个通用的注意力机制 (GAM) 集成到神经网络层.
- 通过一种新的注意力方法来提高ML分类任务的性能.
主要方法:
- 提出了一种可以在神经网络的每个层之前进行整合的通用注意力机制 (GAM).
- 在ML架构中应用GAM到数据传播的中间阶段.
- 进行了实验,以评估GAM对各种ML分类模型的影响.
主要成果:
- 整合拟议的GAM始终提高了各种ML模型的准确性.
- 精度的改进仅在模型参数的边际增加中实现.
- GAM集成并没有显著影响ML模型的整体训练时间.
结论:
- 一般化注意力机制 (GAM) 通过识别相关的中间结果,有效地提高了ML模型的准确性.
- GAM提供了一种灵活的方式,可以在各种ML架构中提高分类性能.
- 这种方法提供了显著的性能提升与最小的计算开销.
