多模态纵向表示学习用于预测乳腺癌治疗中的新辅助疗法反应

科学领域:

• 人工智能在医学中的应用
• 医学成像分析 医学成像分析
• 在瘤学瘤学.

背景情况:

• 纵向医学成像对于监测新辅助疗法 (NAT) 反应至关重要.
• 当前的人工智能方法通常需要广泛的细分标签来评估疾病进展.
• 现有的自我监督视觉语言 (VL) 模型通常专注于单个时间点,缺少时间动态.

研究的目的:

• 为多模态纵向表示学习 (MLRL) 开发一个时间基础模型,以跟踪疾病进展.
• 从未注释的纵向图像和报告中利用时间自我监督.
• 提高NAT中瘤反应预测的效率和准确性.

主要方法:

• 介绍了多模式纵向表示学习管道 (MLRL),一个时间基础模型.
• 采用多层次的自我监督方案,包括视觉-文本对齐 (VTA) 和时间视觉/文本进度 (TVP/TTP) 学习.
• 使用纵向NAT检查 (治疗前,治疗中,治疗后扫描) 和附带的报告.

主要成果:

• 在零,少数和全面学习场景中,MLRL证明了标签效率的提高.
• 在内部和外部数据集上,在各种治疗环境中显著改善了瘤响应预测.
• 在时间检查中启用可解释的渐进区域视觉跟踪.

结论:

• MLRL有效地从纵向多模式数据中提取时间表示,用于跟踪疾病进展.
• 拟议的方法为NAT.中的标签有效和准确的瘤反应评估提供了一个有希望的方法.
• 在纵向癌症监测中,MLRL为临床决策提供了宝贵的见解.