瓦斯斯坦任务嵌入用于测量任务相似性
Xinran Liu1, Yikun Bai1, Yuzhe Lu2
1Computer Science Department, Vanderbilt University, 2201 W End Ave, Nashville, 37235, TN, United States.
概括
这项研究引入了一种新的,不依赖模型的方法,用于测量机器学习中的任务相似性,使用最佳运输理论. 这种方法可以实现更快,更有效的任务比较,这对于转移和元学习应用至关重要.
科学领域:
- 机器学习 机器学习
- 计算机科学 计算机科学
- 数据科学数据科学数据科学
背景情况:
- 测量任务相似性对于机器学习任务如转移,多任务,连续和元学习至关重要.
- 现有的任务相似性评估方法通常依赖于架构,依赖于预先训练的模型或前向转移代理.
- 这些局限性阻碍了跨不同机器学习范式的高效和可概括的任务比较.
研究的目的:
- 为监督分类引入一种新的,与模型无关的,不需要培训的任务嵌入方法.
- 解决当前基于架构的方法测量任务相似性的局限性.
- 为了能够有效地处理部分分离的标签集的数据集.
主要方法:
- 利用最佳运输理论来定义监督分类的新任务嵌入.
- 采用多维缩放用于标签嵌入,然后与数据集样本连接.
- 定义数据集距离,使用更新样本之间的2-瓦瑟斯坦距离.
- 使用2-瓦瑟斯坦嵌入框架将任务映射到矢量空间中.
主要成果:
- 建议的任务嵌入是无模型和无培训的,能够处理不连接的标签集.
- 使用新型嵌入的任务比较比现有的方法要快得多,比如最佳运输数据集距离 (OTDD).
- 数字实验表明,在图像识别数据集中,拟议的距离和前向/后向传输之间存在统计学上显著的相关性.
结论:
- 开发的2-Wasserstein嵌入框架为测量任务相似性提供了一种高效和有效的方法.
- 这种模型不可知的方法通过提供一个更可概括的工具来进行任务比较来推进机器学习领域.
- 这些发现对提高转移学习,多任务学习和超级学习应用中的性能有影响.
相关概念视频
02:30Quantifying Work
19.1K
As a system undergoes a change, its internal energy can change, and energy can be transferred from the system to the surroundings, or from the surroundings to the system.
19.1K
01:12Modeling and Similitude
246
Scaled modeling is a fundamental technique in engineering, enabling the study of large and complex systems by creating smaller, manageable replicas that recreate critical characteristics of the original. In hydrology and civil infrastructure, for example, scaled models of dams help analyze water flow, turbulence, and pressure. This method allows for accurate predictions of real-world behavior within a controlled environment, significantly reducing the cost and time involved in full-scale...
246