动态引导的时空注意力用于心声回声录像视频分割

科学领域:

• 医疗成像医学成像
• 心血管成像 - 心血管成像
• 人工智能在医学中的应用

背景情况:

• 左心室 (LV) 内心细分对于从心声视频中量化LV喷射率至关重要.
• 现有的方法通常依赖于二维卷积网络,并与时间一致性作斗争,有时使用噪音光流估计 (OFE).

研究的目的:

• 开发一种新的半监督方法,用于回声心脏图像视频细分,克服现有方法的局限性.
• 通过有效地整合动态和外观信息来提高LV内心细分的时间一致性和准确性.

主要方法:

• 微调RAFT网络对OFE的心声回声数据进行微调,以获得可靠的动态信息.
• 使用双编码器结构,单独提取运动和外观特征,以间流作为输入.
• 提出一个动态引导的时空注意力 (DSA) 机制,具有可变形的注意力,用于增强的时间建模和特征校准.

主要成果:

• 拟议的DSA方法在CAMUS和EchoNet-Dynamic回声心脏学数据集上实现了最先进的性能.
• 该方法有效地将动态连续性与语义一致性结合在一起,提高了细分的准确性.
• 双边特征校准和偏移估计模块有助于强大的特征增强.

结论:

• 动态引导的时空注意力 (DSA) 在半监督心声回声视频细分方面取得了重大进展.
• 这种方法为量化LV喷射分数提供了更强大,更准确的方法.
• 这些发现突出了整合精细动态信息以改善医疗图像分析的潜力.