流动集群数据的实时回归分析,其中可能存在异常数据批次

科学领域:

• 统计 统计 统计 统计
• 机器学习 机器学习
• 数据科学数据科学数据科学

背景情况:

• 分析具有相关结果的流数据集,如纵向和集群数据,会带来重大的计算和统计挑战.
• 现有的方法通常需要重新处理所有历史数据以进行更新,从而导致效率低下.
• 对于动态数据集的高效增量学习算法的需求至关重要.

研究的目的:

• 开发一种增量学习算法,用于分析具有相关结果的流数据集.
• 提出一种新的可再生二次推理函数 (RenewQIF) 方法,用于高效的参数估计.
• 引入一个顺序的合适性测试,用于诊断流数据中的回归系数均性.

主要方法:

• 开发了一个可再生的二次推理函数 (RenewQIF) 用于增量学习.
• 采用可再生估计和增量推断范式,更新参数与当前数据和历史总结统计数据.
• 将RenewQIF与离线二次推理函数 (QIF) 和概括估计方程 (GEE) 方法进行比较.
• 提出了一种顺序的适合性测试,用于同质性假设诊断.
• 使用扩展的 Spark 的 Lambda 架构实现了该方法.

主要成果:

• 从理论和数值上证明,与离线方法相比,可再生能源程序提供了统计和计算效率.
• 拟议的顺序性合适性测试有效地选异常数据批,并诊断出违反同质性假设的情况.
• 该方法通过广泛的模拟研究和对汽车事故数据的现实世界分析,成功地展示了该方法.

结论:

• 拟议的RenewQIF方法提供了一种高效和统计学上合理的方法来分析流数据,并提供相关的结果.
• 综合数据质量诊断工具在动态环境中提高了统计推理的可靠性.
• 这项工作为大数据应用中的实时统计分析提供了可扩展的解决方案.