不平衡特征对大数据集的影响
Waleed Albattah1, Rehan Ullah Khan1
1Department of Information Technology, College of Computer, Qassim University, Buraydah, Saudi Arabia.
Frontiers in big data
|March 28, 2025
概括
数据集平衡显著提高了图像分类的准确性. 像分布式高斯式 (D-GA) 和分布式Poisson (D-PO) 这样的技术增强了随机森林 (RF) 和SVM模型,这对于实时基于内容的搜索至关重要.
科学领域:
- 计算机视觉和机器学习
- 数据科学和人工智能数据科学和人工智能
背景情况:
- 图像和视频数据的指数增长需要基于内容的高效搜索.
- 基于特征的图像分类至关重要,但由于不平衡的类分布而受到挑战.
- 现实世界的数据集往往呈现不均的类实例,阻碍了分类器的性能.
研究的目的:
- 探索图像分类框架,考虑平衡和不平衡的特征分布.
- 分析类不平衡对图像分类性能的影响,特别是在大型数据集上.
- 确定有效的技术,以减轻图像分类中的类不平衡.
主要方法:
- 在平衡和不平衡条件下使用图像特征的分类框架的评估.
- 在大型数据集上进行广泛的实验,以评估性能变化.
- 不同平衡技术的比较,包括分布式高斯式 (D-GA) 和分布式波松式 (D-PO).
主要成果:
- 所有测试的模型都表现出与数据集平衡相比,与不平衡的数据集相比,数据集平衡的性能更好.
- 分布高斯式 (D-GA) 和分布式波松式 (D-PO) 成为非常有效的平衡技术.
- 随机森林 (RF),支持矢量机 (SVM) 和深度学习模型的显著性能改善.
结论:
- 数据集平衡对于提高图像分类模型的准确性至关重要.
- D-GA和D-PO技术在提高RF和SVM分类器的性能方面特别有效.
- 平衡策略对深度学习模型产生积极影响,有助于更好的整体图像分析.
