弱引导注意力模型与对脑CT报告生成的等级交互
Xiaodan Zhang1, Sisi Yang1, Yanzhao Shi1
1Faculty of Information Technology, Beijing University of Technology, Beijing, China.
Computers in biology and medicine
|November 17, 2023
概括
本研究引入了一种带有层次交互的弱引导注意模型 (WGAM-HI),以增强大脑计算机断层扫描 (CT) 报告生成用于脑血管疾病诊断.
科学领域:
- 医学成像分析 医学成像分析
- 医疗保健中的人工智能
- 放射学自然语言处理用于放射学.
背景情况:
- 大脑计算机断层扫描 (CT) 报告生成有助于诊断脑血管疾病.
- 当前的方法难以对齐多个图像和句子,并专注于关键细节.
- 由于特征表示方面的挑战,在准确描述发现方面存在局限性.
研究的目的:
- 为了提高脑CT报告生成的准确性和效率.
- 解决多图像和多句子之间的许多对许多对齐挑战.
- 为了增强模型对关键图像和损伤区域的关注能力.
主要方法:
- 提出了一个新的弱引导注意力模型与层次交互 (WGAM-HI).
- 采用分层交互框架,具有双层注意力模型和报告生成器.
- 引入了使用病理事件和梯度加权类激活映射 (Grad-CAM) 的两个弱引导机制.
主要成果:
- WGAM-HI有效地执行视觉图像和语义句子之间的许多对许多匹配.
- 该模型显示了对重要图像和损伤区域的更好关注.
- 实验结果显示,与现有方法相比,报告生成更准确.
结论:
- WGAM-HI显著提高了脑CT报告生成准确度.
- 层次互动和弱引导的注意力机制是有效的.
- 该模型为自动化放射性报告生成提供了一个有前途的方法.
