通过混合域注意力和局部化最大灵敏度来改善域泛化
Wing W Y Ng1, Qin Zhang1, Cankun Zhong2
1Guangdong Provincial Key Laboratory of Computational Intelligence and Cyberspace Information, School of Computer Science & Engineer, South China University of Technology, Guangzhou, 510006, China.
概括
这项研究引入了一种新的域泛化方法,使用混合域注意力来关注重要的视觉特征. 该方法通过降低对输入扰动的灵敏度来提高模型的稳定性和概括性.
科学领域:
- 计算机科学 计算机科学
- 人工智能的人工智能
- 机器学习 机器学习
背景情况:
- 域泛化 (DG) 旨在在源域上训练模型,以便在看不见的目标域上有效执行.
- 当前的DG方法通常会同样处理所有视觉特征,从而导致低于最佳的概括.
- 人类的概括依赖于专注于突出特征,忽略不相关的特征.
研究的目的:
- 开发一种模仿人类特征选择的域泛化方法.
- 通过专注于标签相关特征来提高模型概括性.
- 为了提高对输入扰动的模型稳定性,以便更好地泛化.
主要方法:
- 提出了一个通道智能和空间智能混合域注意力机制.
- 这种机制迫使模型优先考虑重要的标签相关特征.
- 对输入扰动的局部最大灵敏度被降低以提高稳定性.
主要成果:
- 提出的方法证明了改进的概括性能.
- 在PACS,VLCS和Office-Home数据集上的实验验验证了这一方法.
- 混合注意力机制有效地专注于歧视性特征.
结论:
- 拟议的混合域注意力机制显著增强域泛化.
- 降低对输入干扰的敏感性可以提高网络的稳定性和通用化能力.
- 该方法为开发更有效的域泛化技术提供了一个有希望的方向.
