联合关注GAN用于医疗报告生成,并保留临床风格

科学领域:

• 人工智能的人工智能
• 医疗信息学 医疗信息学
• 自然语言处理自然语言处理.

背景情况:

• 医疗报告生成旨在减少医生工作量,提高诊断效率.
• 目前的方法难以生成语义上连贯的报告,这些报告准确地反映视觉数据,并保持临床语言风格.

研究的目的:

• 提出一种新的医疗报告生成方法,使用共同关注的生成对抗网络 (GAN).
• 在自动化医疗报告中解决语义连贯性,准确的位置引用和临床语言风格方面的挑战.

主要方法:

• 一个GAN框架,包含一个报告创建的生成器,一个真实性的区分器,以及一个临床风格的语言评估器.
• 联合注意力机制以融合视觉和文本特征,捕捉交叉模式交互以获得准确的定位,并弥合视觉病理差距.
• 基于梯度搜索的帕雷托最佳 (GSPO) 策略用于多目标GAN,以优化重量参数.

主要成果:

• 提出的方法实现了与最先进的方法相比具有竞争力的性能.
• 观察到显著的平均增长:6.2%在BLEU-2,8.1%在BLEU-3,7.4%在ROUGE,和13.1%在MIRQI.
• 该方法在放射科医生的临床语言风格评估中表现优于对比.

结论:

• 基于GAN的新方法与联合注意力有效生成高质量的医疗报告.
• 该方法成功地解决了语义连贯性,准确的本地化和临床语言风格.
• 该GSPO战略提供了一种有效的方式来处理医疗应用GAN中的多目标优化.