可扩展的大数据平台,具有终端到终端可追溯性,用于老年人健康数据监测:发展和绩效评估

科学领域:

• 医疗信息学 医疗信息学
• 大数据分析大数据分析
• 数字健康数字健康

背景情况:

• 来自可穿戴设备和问卷的实时健康数据为老龄化人口提供了预防护理机会.
• 目前的平台缺乏数据/模型可追溯性,版本控制和异质数据流的管理,阻碍了可复制性和问责制.
• 现有的健康数据平台中缺少临床问责制,监管合规性和可重复性的基本特征.

研究的目的:

• 介绍DeltaTrace,一个统一的大数据健康平台,可追溯性作为核心架构功能.
• 证明嵌入可追溯性能够实现可扩展,可审计和版本控制的健康数据处理.
• 促进可重复分析和健康监测系统的长期维护.

主要方法:

• 德尔塔跟踪利用与德尔塔湖的章架构进行版本控制的数据转换.
• 采用Apache Spark用于分布式计算,Apache Kafka用于数据摄入,以及Apache Airflow用于工作流编排.
• 集成MLflow用于机器学习模型生命周期管理和Grafana用于数据可视化.

主要成果:

• 德尔塔跟踪支持~1500用户的连续处理,端到端延迟不到10分钟.
• 摄入,聚合和异常检测延迟处于可接受范围内 (例如,可视化时<7.5分钟).
• 将CPU核心从8个增加到24个,将摄入/清理延迟提高了25%,异常检测提高了50%.

结论:

• 德尔塔跟踪提供了一个可扩展的模块化架构,集成可追溯性,模型管理,编排和可视化.
• 该平台为数据和模型提供了完整的版本控制,在有限的硬件下保持性能.
• 由于可复制和可审计的处理,DeltaTrace适用于老年人群的持续监测和预防性医疗保健.