在主题建模中确定最佳主题数量的自适应方法
Yang Xu1, Yueyi Zhang1, Yefang Sun2
1College of Economics and Management, China Jiliang University, Hangzhou, Zhejiang, China.
确定最佳的主题数量对于主题模型至关重要. 一种新方法,即平均类间距离变化率 (AICDR),使用聚类来找到最佳的主题数量,改善信息检索.
科学领域:
- 计算语言学 计算语言学
- 数据科学数据科学数据科学
- 信息检索 信息检索
背景情况:
- 主题模型对于信息分类和检索有价值.
- 选择正确的主题数量是具有挑战性的,冒着不足或过度装配的风险.
- 装配不足导致信息丢失,而过度装配引入噪音和复杂性.
研究的目的:
- 提出一种用于确定主题模型中最佳主题数量的新方法.
- 为了解决当前主题编号选择技术的局限性.
- 为了提高主题模型的准确性和可解释性.
主要方法:
- 引入了平均类间距离变化率 (AICDR) 方法.
- 利用沃德的方法来计算类间距离.
- 计算了不同主题数的平均班级间距离.
- 根据平均距离变化率确定了最佳主题号码.
主要成果:
- AICDR有效地确定了一个与数据集分类一致的主题号码.
- 该方法确保了高的类间距离和低的类间相似性.
- AICDR成功地避免了主题重叠,提高了模型的清晰度.
- 实验结果证实了AICDR在其他方法上的优势.
结论:
- AICDR提供了一个强大的,基于集群的方法,用于最佳的主题编号选择.
- 该方法在各种主题模型中表现出强大的适应性.
- AICDR提高了主题建模应用程序的精度和可靠性.
- 这种技术增强了主题模型在信息科学中的实用性.
更多相关视频
07:35Selecting Multiple Biomarker Subsets with Similarly Effective Binary Classification Performances
Published on: October 11, 2018
08:45Mapping Cortical Dynamics Using Simultaneous MEG/EEG and Anatomically-constrained Minimum-norm Estimates: an Auditory Attention Example
Published on: October 24, 2012
相关概念视频
Choosing Between z and t Distribution
Sample Size Calculation
The sample size for the given experiment or sampling effort is fundamental to any study design. Sample size decides the number of...
Cluster Sampling Method
To choose a cluster sample, divide the population into clusters (groups) and then randomly select some of the clusters. All the members from these clusters are in the cluster sample. For example, if you randomly sample four departments from your...
Systematic Sampling Method
Systematic sampling is one of the simplest methods...
Quantifying and Rejecting Outliers: The Grubbs Test
One-Compartment Open Model: Wagner-Nelson and Loo Riegelman Method for ka Estimation
On...
