一个提取-转换-加载过程设计,用于增量加载德国的现实世界数据,基于FHIR和OMOP CDM:算法开发和验证

科学领域:

• 医疗信息学 医疗信息学
• 健康数据管理 管理健康数据
• 临床试验操作 临床试验操作

背景情况:

• 医学信息学在大学医学研究和护理 (MIRACUM) 联盟开发了一种用于临床试验招聘支持的IT系统.
• 该系统使用了观察医疗结果伙伴关系 (OMOP) 共同数据模型 (CDM),通过提取-转换-加载 (ETL) 过程填充了德国快速医疗互操作资源 (FHIR).
• 目前的批量ETL流程在计算上是密集的,并且对于招聘所需的每日数据更新是低效的.

研究的目的:

• 通过结合增量加载能力来增强现有的ETL流程.
• 为了能够有效地处理每天更新的数据,以改善临床试验招聘支持.

主要方法:

• 基于现有的散装ETL流程,对增量加载的需求进行分析.
• 文献审查以确定适合的可适应方法,用于增量数据集成.
• 实施三种不同的方法,将增量加载集成到ETL工作流中.
• 开发一个测试套件来评估数据正确性和增量加载与散装加载的性能.

主要成果:

• 开发的ETL工艺成功地支持散装和增量加载.
• 增量加载显示了87.5%的执行时间缩短,与每天数据变化的散装加载相比 (2.12分钟对17.07分钟).
• 在OMOP CDM中,在增量加载和散装加载方法之间没有观察到数据差异.

结论:

• 增量加载为更新临床试验招聘数据提供了每日散装加载的更有效的替代方案.
• 这两种加载方法在OMOP CDM中产生相同的数据,确保数据完整性.
• 开发的增量ETL逻辑具有国际适用性,不受德国FHIR配置文件的限制,并建议在初始散装后进行每日更新.