回声视觉FM:回声心电图视频视觉基础模型的预培训和微调框架

科学领域:

• 人工智能在医学中的应用
• 医学成像分析 医学成像分析
• 心血管诊断心血管诊断服务

背景情况:

• 心声图分析对于心血管诊断至关重要,但通常依赖于手动解释或复杂的注释过程.
• 从未标记的心声回声录像视频中开发出可靠和可转移的表征是一个重大挑战.
• 现有的方法可能需要大量的手动注释,或在不同的数据集和临床场景中缺乏概括性.

研究的目的:

• 引入Echo-Vision-FM,这是一个自我监督的视频学习框架,用于预培训心声图视频编码器.
• 从大规模的,未标记的心声回声图数据生成强大的和可转移的视频表示.
• 为了提高下游性能在各种心声回声图分析任务,包括诊断和形态价值估计.

主要方法:

• 在MIMIC-IV-ECHO数据集上使用了一种自我监督的掩盖自动编码策略,在MIMIC-IV-ECHO数据集上具有85%的掩盖比.
• 引入了空间时空融合网络 (STF-Net),以整合视频表示中的空间和时间相关性.
• 预先训练了一个没有手动注释的回声视频编码器,利用大规模的未标记数据.

主要成果:

• 在EchoNet-Dynamic数据集上实现了心脏功能诊断的高精度 (0.905),F1得分 (0.941) 和AUC (0.931).
• 在TMED数据集上在大动脉狭窄诊断中表现强 (AUC为0.849).
• 在心脏形态学价值估计方面表现优于最先进的模型,包括左心室喷射率 (LV_EF) 预测 (MAE为3.87%,r2为0.825) 和体积估计 (r2值为0.782和0.742).
• 在CAMUS数据集上获得了LV_EF估计的86.49%的皮尔森相关系数,超过了基于细分的传统方法.

结论:

• Echo-Vision-FM为回声心电图分析提供了一种强大而可扩展的方法,大大推进了临床诊断和研究.
• 该框架表现出强大的跨机构通用性和数据效率,特别是在资源较少的环境中.
• STF-Net的整合在各种任务中持续提高了性能,突出显示了它在捕捉时空动态方面的有效性.