多模式文本引导网络用于胸部CT肺炎分类

科学领域:

• 医疗成像医学成像
• 人工智能的人工智能
• 呼吸系统医学 呼吸系统医学

背景情况:

• 肺炎是一种广泛的呼吸道疾病,对全球健康产生重大影响.
• 深度学习显示出从医学图像中自动诊断肺炎的前景,但目前的方法面临局限性.
• 基于切片和基于序列的分类方法与空间上下文,劳动密集型注释和多模式信息集成作斗争.

研究的目的:

• 开发一种先进的深度学习模型,使用胸部CT序列来准确地分类肺炎.
• 通过有效整合多模式信息 (CT图像和文本报告) 来解决现有方法的局限性.
• 通过模拟临床诊断过程和从文本描述中利用语义信息来增强特征学习.

主要方法:

• 提出了一种多模态文本导向网络 (MTGNet),其中包含一个用于CT序列编码的顺序图集结网络.
• 开发了一个CT描述编码器,可以从文本报告中学习,以及一个模态传输模块来生成模拟的文本特征.
• 采用跨模式的注意力来融合序列级和模拟的文本表示,以及用于歧视性特征提取的对比学习.

主要成果:

• MTGNet模型在自建数据集上显示了肺炎分类性能的显著改善.
• 多模式信息的有效整合提高了模型捕获关键空间和语义特征的能力.
• 提出的方法成功模拟了临床诊断工作流程,从而获得了优异的分类结果.

结论:

• 开发的MTGNet提供了一种强大的新方法,用于使用胸部CT序列对肺炎进行分类.
• 整合文本数据与CT成像显著提高了诊断准确度.
• 该模型学习区分特征和模拟临床推理的能力有望促进自动化医疗图像分析的发展.