多粒度放射学报告生成与句子级图像语言对比学习

科学领域:

• 医疗成像医学成像
• 人工智能的人工智能
• 自然语言处理自然语言处理.

背景情况:

• 由于数据不平衡和复杂的报告结构,自动生成放射学报告至关重要,但具有挑战性.
• 现有的方法通常需要昂贵的手册注释来应对这些挑战.
• 在放射学报告中准确生成异常发现仍然是一个重大障碍.

研究的目的:

• 提出一个新的多粒度报告生成框架,使用句子级图像句子对比学习.
• 为了提高自动放射学报告生成的准确性,而不依赖于额外的手动注释.
• 通过捕捉与特定报告主题相关的细粒度图像特征,有效地从图像-报告对中学习.

主要方法:

• 实施了多粒度报告生成框架,具有句子级图像句子对比学习.
• 利用对比式学习来提取图像特征,专注于句子主题和内容以进行细粒度分析.
• 采用两种解码方法来生成粗略的句子主题,其次是细粒度的文本,由对比的目标监督并通过强化学习来改进.

主要成果:

• 拟议的框架在MIMIC-CXR和IU-Xray数据集上表现出优于最先进的方法的性能.
• 使用语言生成指标和临床准确性的评估证实了该方法的有效性.
• 精细的对比学习方法成功地学习了特定主题的不同异常图像特征.

结论:

• 多粒度报告生成框架显著提高了自动放射学报告生成的准确性.
• 句子级图像句子对比学习提供了一种有效的无标签方法,可以从医学图像报告数据中学习.
• 该方法有望通过更准确和详细的放射学报告来改善临床决策支持.