RIHA: 报告-图像等级对齐用于放射学报告生成
IEEE journal of biomedical and health informatics
|March 4, 2026
概括
一个新的报告图像层次对齐变压器 (RIHA) 通过将图像与多个级别的报告对齐来改进放射学报告的生成. 这种分层的方法提高了自动生成医疗图像诊断报告的准确性.
科学领域:
- 人工智能的人工智能
- 医疗成像医学成像
- 自然语言处理自然语言处理.
背景情况:
- 放射学报告生成 (RRG) 旨在自动化从医学图像创建诊断报告,减少放射科医生的工作量和错误.
- 当前的RRG方法往往无法捕捉报告的层次结构,将其视为平面序列,这限制了对齐准确性.
- 在复杂的视觉特征和放射学报告的语义层次之间实现细粒度的对齐仍然是一个重大挑战.
研究的目的:
- 提出一个新的端到端框架,RIHA (报告图像层次对齐变压器),用于精确的放射图像和报告之间的多层次对齐.
- 通过解决现有方法的局限性,提高自动化放射学报告生成的准确性和临床有效性.
- 改进跨模式映射,以捕捉临床叙述中的细微语义.
主要方法:
- RIHA采用跨段落,句子和单词层次的层次对齐策略.
- 介绍了用于多尺度视觉特征提取的视觉特征金字塔 (VFP) 和用于多颗粒度文本结构表示的文本特征金字塔 (TFP).
- 使用交叉模式层次对齐 (CHA) 模块,在解码器中为特征对齐和相对位置编码 (RPE) 进行最佳传输,以实现增强的令牌级对齐.
主要成果:
- 与最先进的模型相比,RIHA在基准胸部X射线数据集 (IU-Xray和MIMIC-CXR) 上表现出卓越的性能.
- 拟议的层次对齐显著改善了放射学报告的自然语言生成指标.
- 该框架显示了在生成准确且与情境相关的诊断报告方面提高了临床疗效.
结论:
- 通过有效地应对层次跨模式对齐的挑战,RIHA在放射学报告生成方面取得了重大进展.
- 多级对齐策略使视觉信息能够更精确地映射到文字描述中,从而提高了报告质量.
- 这种层次化的方法有望在临床实践中实现更可靠,更准确的自动诊断报告.
