由文本知识驱动:一个文本视图增强的知识传输网络,用于肺部感染区域细分.
Lexin Fang1, Xuemei Li1, Yunyang Xu1
1School of Software, Shandong University, Jinan 250101, China.
Medical image analysis
|May 15, 2025
概括
这项研究引入了一种用于细分肺部感染的新型网络,通过将文本中的空间信息与医疗图像集成来提高准确性. 文本视图增强知识传输网络 (TVE-Net) 通过更好地定位受感染区域来增强治疗.
科学领域:
- 医疗成像医学成像
- 人工智能的人工智能
- 计算机视觉 计算机视觉
背景情况:
- 肺部感染是导致死亡的主要原因,需要精确细分受感染区域以获得有效的治疗.
- 目前基于成像的细分方法缺乏足够的准确性.
- 从文本数据中整合专家知识提供了一种有希望的方法来改善细分,但编码和跨模式传输仍然存在挑战.
研究的目的:
- 开发一个新的网络,文本视图增强知识传输网络 (TVE-Net),以改进肺部感染细分.
- 通过从文本数据中利用空间信息来增强模型对感染肺部位置的感知.
- 为了解决文本和图像特征之间的语义空间不一致性,以便更好地进行交叉模式的信息传输.
主要方法:
- TVE-Net通过使用位置概率函数来建模受感染区域的位置,并明确整合空间信息来生成"文本视图".
- 一个统一的图像编码器将文本和图像特征映射到同一个空间.
- 自主监督的约束和具有交叉注意力的多阶段知识传输模块用于稳定性和特征相关性学习.
主要成果:
- 在肺部感染细分方面,TVE-Net显著优于单模和多模方法.
- 该网络在完全监督和半监督环境中取得了实质性的改进.
- 在QaTa-COV19和MosMedData+数据集上验证了实验.
结论:
- 拟议的TVE-Net有效地将文本空间信息与成像数据集成为高级肺部感染细分.
- 这种方法提高了细分模型的准确性和稳定性,特别是在半监督的场景中.
- TVE-Net在利用多式联络数据进行医学图像分析方面取得了重大进展.


