可扩展和隐私意识端到端处理大规模临床数据用于精准医学:实证评估研究

科学领域:

• 临床信息学是一种临床信息学.
• 数据科学是数据科学.
• 计算生物学是一种计算生物学.

背景情况:

• 传统的CSV和关系数据库系统对大规模的临床数据分析提出了存储和处理的挑战.
• 这些局限性阻碍了临床环境中的研究准备和多中心合作.
• 像Apache Parquet这样的以列为导向的格式提供了潜力,但缺乏在临床环境中进行系统的端到端评估.

研究的目的:

• 实证评估一个基于Parquet的管道,用于大规模的临床数据分析.
• 评估计算效率和可扩展性的改进.
• 验证预测性能和患者隐私的保护.

主要方法:

• 使用Parquet,CSV,PostgreSQL和DuckDB对1376万个电子健康记录行进行分析.
• 实现标准化的SQL工作负载和多标签分类模型 (极端梯度提升,分类器链组合).
• 通过会员推断攻击 (MIA) 评估存储效率,分析时间,预测性能和隐私风险.

主要成果:

• 与CSV.相比,Parquet将磁盘访问时间减少了95.3% (940.2至44.2秒).
• 在特征转换和模型训练中,端到端处理延迟降低.
• 在多个指标中,分类性能在临床等价率范围内 (P<.001) 保持在统计学上同等.
• 成员推断攻击没有显示隐私风险有可测量的增加 (AUC=0.500).

结论:

• 一个基于Parquet的管道有效地减轻了高通量临床证据生成的数据处理瓶.
• 该框架为精准医学和多中心合作提供了可扩展,强大的基础设施.
• 这种方法在资源有限的临床环境中促进真实世界的数据分析,而不会损害模型完整性或隐私.