一个简单的PCAHDBSCAN方法,以提高水质分类在不平衡的数据集

科学领域:

• 环境科学 环境科学
• 数据科学数据科学数据科学
• 机器学习 机器学习

背景情况:

• 阶级不平衡是水质分类的一个主要挑战,导致有偏见的模型.
• 现有的过量采样技术往往无法充分解决噪音问题并改善少数类的性能.

研究的目的:

• 引入和评估SMOTE-PCA-HDBSCAN,这是一个用于不平衡水质数据集的新型超采样框架.
• 证明拟议方法在提高少数群体类敏感性和整体分类准确性的有效性.

主要方法:

• SMOTE-PCA-HDBSCAN框架结合了合成少数群体过量采样技术 (SMOTE),主要组件分析 (PCA) 和基于层次密度的噪音应用的空间聚类 (HDBSCAN).
• SMOTE生成合成样本,PCA增强数据分离性,HDBSCAN从合成数据中删除噪声.
• 清理后的合成数据将与原始数据集合并用于培训.

主要成果:

• SMOTE-PCA-HDBSCAN显著提高了少数群体的敏感性 (清洁:4.76%至28.57%;受污染:38.09%至61.90%).
• 该方法在大多数类别中保持了很高的准确性.
• 对比评估显示,相对于其他方法 (如SMOTE,SMOTE-DBSCAN和SMOTE-ENN) 的表现优越.

结论:

• SMOTE-PCA-HDBSCAN是一种强大而有效的方法,用于处理水质分类中的类不平衡.
• 该框架为增强环境监测和其他不平衡数据领域的预测模型提供了有价值的工具.