使用图像编码的电子医疗记录和基于变压器的融合技术预测妊娠期糖尿病
Ying Shan1, Junsheng Yu1,2,3, Zhuya Huang1
1School of Electronic Engineering, Beijing University of Posts and Telecommunications, Beijing, China.
Computer methods in biomechanics and biomedical engineering
|December 13, 2025
概括
妊娠糖尿病 (GDM) 的准确预测得到了新的多式联接融合模型的改进. 这种人工智能方法整合了临床数据和电子健康记录,以获得更好的孕产妇和胎儿结果.
科学领域:
- 医疗信息学 医疗信息学
- 医疗保健中的人工智能
- 生物医学数据分析
背景情况:
- 准确预测妊娠糖尿病 (GDM) 对于有效的孕产妇和胎儿健康管理至关重要.
- 现有的预测模型往往难以整合来自电子健康记录 (EHR) 的各种数据类型.
研究的目的:
- 为准确的端到端GDM分类开发和评估基于变压器的多模式融合模型.
- 通过将表格式临床数据与图像编码的EHR集成来增强GDM预测.
主要方法:
- 开发了一种使用变压器架构的多式联络融合模型.
- 使用视觉转换器从图像编码的EHR (灰度,RGB,热图) 中提取视觉特征.
- 使用多层感知器 (MLP) 提取的表格特征.
- 采用一种模式意识的注意力机制来实现跨模式的融合.
主要成果:
- 与单一模式方法相比,多式模式模型在GDM预测中表现出更好的准确性.
- 在两个公开数据集上观察到3.95%和0.38%的精度的性能增长.
- 模式意识的注意力机制有效地整合了各种数据源.
结论:
- 基于变压器的多模式融合为准确的GDM预测提供了一个有希望的方法.
- 整合不同的EHR数据类型可以显著提高预测模型的性能.
- 这种模型有潜力通过早期GDM检测来改善母亲和胎儿的结果.

