眼睛凝视导向 放射学交叉模式对齐网络 报告生成 放射学报告生成

科学领域:

• 医学成像和人工智能 医学成像和人工智能
• 在医疗保健中的自然语言处理.
• 放射学和临床决策支持

背景情况:

• 自动放射学报告生成旨在提高诊断准确性和效率.
• 目前的数据驱动方法难以结合必要的医疗先验知识.
• 在将放射图像与报告对齐时存在挑战,特别是关于先前知识的挑战.

研究的目的:

• 开发一个先进的网络,用于准确的医疗报告生成.
• 整合放射科医生的眼睛凝视数据作为预先知识,以提高报告准确性.
• 在放射学报告中加强视觉和文本信息之间的对齐.

主要方法:

• 引入了眼睛凝视指导交叉模式对齐网络 (EGGCA-Net).
• 采用双细粒度分支 (DFGB) 和多任务分支 (MTB) 来实现多层次的语义对齐.
• 嵌入式句子细粒度原型模块 (SFPM) 和多任务功能融合模块 (MFFM).
• 使用标签匹配机制来确定疾病状态的一致性.

主要成果:

• 与现有方法相比,EGGCA-Net表现出优越的性能.
• 在生成的放射学报告中提高了准确性和可理解性.
• 在Open-i和MIMIC-CXR基准数据集上取得了更好的结果.

结论:

• 拟议的EGGCA-Net有效地利用了眼睛着先前的知识,以更好地生成报告.
• 该网络成功地解决了以前数据驱动方法的局限性.
• 这种方法显示了推进自动化临床诊断支持的巨大潜力.