一种集体学习方法,采用基于GAN的采样和一致性检查,以检测不平衡数据流的异常,并使用概念漂移

科学领域:

• 计算机科学 计算机科学
• 机器学习 机器学习
• 数据挖掘 数据挖掘

背景情况:

• 现实世界的数据流经常表现出不平衡和概念漂移,这给异常检测带来了重大挑战.
• 现有的异常检测方法经常假定数据是平衡的,忽视了不平衡和概念漂移的共同问题.
• 处理非静止数据流需要强大的技术,可以适应不断变化的数据分布.

研究的目的:

• 提出一种新的集体学习方法,EGSCC,以有效地处理在概念漂移的不平衡数据流中的异常检测.
• 开发一个全面的框架,整合生成对抗性基于网络的抽样和一致性检查模块.
• 在动态和不平衡的环境中提高异常检测的准确性和稳定性.

主要方法:

• 开发了一个异常检测框架,其中包含一个生成对抗网络 (GAN) 来过量采样不平衡数据,并结合了双重编码器.
• 实施了堆叠集体学习方法,使用基础分类器 (SVM,KNN,DT,RF) 和元分类器 (LR) 来管理概念漂移.
• 引入了对增量实例和验证集的统计一致性检查,动态更新验证集.

主要成果:

• 拟议的EGSCC方法在概念漂移的不平衡数据流上的异常检测性能方面显示出显著的优势.
• 在人工和现实世界数据集上进行评估,该方法显示出卓越的检测性能,参数灵敏度,算法成本和反噪声能力.
• 实验结果证实了基于GAN的采样和一致性检查在处理数据流挑战中的有效性.

结论:

• 该EGSCC方法提供了一个有效的解决方案,用于检测异常在挑战不平衡的数据流经历概念漂移.
• 集成基于GAN的过量采样和统计一致性检查,提高了异常检测的适应性和准确性.
• 这项研究为分析各种现实应用中的非静止和不平衡数据流提供了强大的框架.