有效的混合层次聚类与增量轮分数用于大型,杂的数据集
Petros Barmpas1, Panagiotis Anagnostou1, Sotiris Tasoulis1
1Department of Computer Science and Biomedical Informatics, University of Thessaly, Papasiopoulou, Lamia 35131, Greece.
International journal of neural systems
|November 18, 2025
概括
本研究提出了对等级集群的有效框架,通过增量轮得分来增强集群分析,以实现更快,更大规模的评估. 新的算法提高了准确性,并有效地处理噪音数据.
科学领域:
- 数据科学数据科学数据科学
- 机器学习 机器学习
- 计算统计学 计算统计学
背景情况:
- 层次聚类分析通常面临着大数据集的计算挑战.
- 评估集群质量,例如用轮分数,可以是计算密集的.
- 现有的算法可能会与杂的数据和准确的集群数值估计作斗争.
研究的目的:
- 为全面的集群分析引入一个新的框架.
- 开发一个高效的增量轮得分计算,用于层次聚类.
- 增强现有的分裂分区算法,以提高准确性和稳定性.
主要方法:
- 开发了一个增量轮得分计算方法,将复杂度从O(K N) 降低到O(N).
- 改进了主要方向划分分区分 (IPDDP) 算法,将其分为PCA-MMDC和PCA-MMDC-sc.
- 集成的增量轮计算与增强的算法进入混合集群策略.
主要成果:
- 实现了对层次聚类的轮评估的100倍以上的加快速度.
- 在聚类准确度方面取得了显著的改进,在杂的合成数据与K-Means相比,ARI增加了>10个百分点.
- 在合成和现实数据集中展示了噪音和异常值的有效管理.
结论:
- 拟议的框架为复杂的集群任务提供了一个可扩展和强大的解决方案.
- 增量轮计算使大规模的层次聚类分析在计算上可行.
- 改进的算法和混合策略提高了聚类的准确性和效率,特别是在杂的环境中.
