CAMANet:班级激活地图引导注意力放射学报告生成网络

科学领域:

• 人工智能的人工智能
• 医疗成像医学成像
• 自然语言处理自然语言处理.

背景情况:

• 放射学报告生成 (RRG) 对于医学诊断和资源管理至关重要.
• 目前的RRG模型主要集中在单模特征编码上,忽视了跨模态对齐.
• 有效的RRG需要理解图像区域和文本描述之间的关系,特别是异常.

研究的目的:

• 开发一个RRG模型,明确促进图像区域和文本之间的交叉模式对齐.
• 提高自动化放射学报告的准确性和异常意识.
• 增强RRG模型中使用的歧视性信息.

主要方法:

• 建议为RRG提供CAMANet (课堂激活地图引导注意网络).
• 雇员聚合类激活地图以指导和监督交叉模式的注意力学习.
• 专注于在图像区域和生成的文本描述之间调整注意力.

主要成果:

• 与最先进的 (SOTA) 方法相比,CAMANet表现出更高的性能.
• 该模型在两个标准RRG基准上实现了高精度.
• 明确的交叉模式对齐提高了模型识别和报告图像异常的能力.

结论:

• 通过优先考虑跨模式对齐,CAMANet有效地解决了以前的RRG模型的局限性.
• 拟议的方法通过引导注意力机制增强了RRG模型的区分能力.
• CAMANet在自动化放射学报告生成方面取得了重大进展,帮助放射科医生在疾病决策中发挥作用.