SentemQC - 一种新且具有成本效益的方法,用于保证和控制淡水中高分辨率频率传感器数据的质量

科学领域:

• 环境科学 环境科学
• 数据科学数据科学数据科学
• 传感器技术 传感器技术

背景情况:

• 越来越多的传感器部署在淡水系统产生大量的高频数据.
• 现有的数据质量保证/质量控制 (QA/QC) 流程往往资源密集且不一致.
• 需要自动化,高效和可靠的QA / QC方法来获得传感器衍生的水质数据.

研究的目的:

• 引入 SentemQC,一个成本高效的,开源的Python方法,用于高频传感器数据的质量控制.
• 开发和验证一种计算效率高的方法,用于检测传感器数据中的异常.
• 评估SentemQC在各种淡水环境中的稳定性.

主要方法:

• SentemQC采用了六步,用户友好的设置,用于使用五个移动窗口检测异常.
• 该方法通过分析数据点及其邻居来识别单个异常值和异常集群.
• 该方法将个别传感器的不确定性/准确性纳入质量控制过程.

主要成果:

• SentemQC在检测各种水质参数 (酸盐,度,氧气,pH) 和淡水生态系统中的异常方面表现出强大.
• 清理数据集中的异常百分比在0.1%至0.8%之间.
• 该工具有效处理高频传感器数据,标记异常以供进一步审查.

结论:

• SentemQC为淡水监测中高频传感器数据的质量控制提供了一个计算效率高,成本效益高的解决方案.
• 虽然SentemQC是一个有价值的工具,但它需要与额外的质量保证/质量控制步骤集成,例如传感器校准和空白填补,以进行全面的数据分析.
• 该方法支持可靠的数据利用,用于实时度测定和负载计算.