通过训练时间的神经元与固定神经元对齐来改善模型融合

科学领域:

• 人工智能的人工智能
• 机器学习 机器学习
• 深度学习 (Deep Learning) 是一种深度学习.

背景情况:

• 模型融合整合了来自多个深度神经网络 (DNN) 模型的知识,以改善概括和参数平均.
• 在不同设置下训练的模型中,不同的神经元排列阻碍了有效的模型融合,因为它导致模型居住在不同的损失盆地.
• 现有的神经元对齐方法专注于训练后换匹配,这在计算上可能昂贵且不那么通用.

研究的目的:

• 开发一种用于训练时间神经元对齐的新方法,以提高模型融合性能.
• 引入一种增强模型融合的方法,而不需要训练后的顺序匹配.
• 在各种模型融合场景中证明培训时间对齐的适用性和有效性,包括联合学习.

主要方法:

• 介绍了TNA-PFN,这是一个简单的,无损的算法,用于训练时间的神经元对齐,使用部分固定的神经元重量作为.
• 通过使用固定的神经元重量,减少了训练时间排列的可能性.
• 开发了FedPFN和FedPNU,基于TNA-PFN的联合学习方法,用于异构的环境.

主要成果:

• 经验验证了TNA-PFN在降低线性模式连接和多模型融合障碍方面的有效性.
• 在模型 (视觉变压器) 和ColD融合 (语言模型) 等环境中,证明了预训练模型的改进融合.
• 在异质条件下的联合学习中,与FedPFN和FedPNU实现了最先进的性能,与服务器端算法兼容.

结论:

• 训练时间神经元对齐为模型融合提供了比训练后对齐更有效和多功能替代方案.
• TNA-PFN提供了一种实现培训时间对齐的基本方法,增强了直接模型融合和联合学习.
• 拟议的FedPFN和FedPNU方法代表了联合学习的重大进步,特别是在处理数据异质性方面.