通过注意力增强的对比学习进行歧视性表示学习,用于短文本聚类
Zhihao Yao1, Bo Li1, Yufei Liao1
1The Key laboratory of Intelligent Technology and Application of Marine Equipment, the Key laboratory of Ship Intelligent System and Technologies, the Key laboratory of Environment Intelligent Perception, the College of Intelligent System Science and Engineering, Harbin Engineering University, 145 Nantong Street, Harbin, 150001, China.
本研究介绍了注意力增强对比学习 (AECL) 用于短文本集群,有效地解决了虚假负分离问题. AECL产生了歧视性表示,大大提高了对现有方法的集群性能.
科学领域:
- 自然语言处理自然语言处理.
- 机器学习 机器学习
- 数据挖掘 数据挖掘
背景情况:
- 对比式学习在短文本聚类中很受欢迎.
- 一个关键的挑战是错误的负分离问题,在这种问题中,类似的样本被错误地区分.
研究的目的:
- 提出一种新的方法,即注意力增强对比学习 (AECL),用于在短文本集群中进行歧视性表示学习.
- 为了解决与对比学习固有的错误负分离问题.
主要方法:
- AECL使用两个模块:一个对比学习模块和一个伪标签辅助模块.
- 两个模块都使用样本级的注意力机制来提取相似性和特征聚合.
- 这创造了一致的表示,形成有效的阳性样本和可靠的监督.
主要成果:
- AECL成功地解决了虚假负分离问题.
- 该方法产生了对改进短文本集群的歧视性表示.
- 实验结果表明,AECL的性能优于最先进的方法.
结论:
- 通过增强对比学习,AECL为短文本集群提供了有效的解决方案.
- 建议的注意力机制和双模块方法提高了表示质量和聚类准确性.
更多相关视频
12:27Large-scale Reconstructions and Independent, Unbiased Clustering Based on Morphological Metrics to Classify Neurons in Selective Populations
Published on: February 15, 2017
07:12Development of a Gaze-Contingent Display Framework Designed for Perceptual and Oculomotor Research with Simulated Central Vision Loss
Published on: April 11, 2025
