PhraseAug:一个增强的医疗报告生成模型与短语库

科学领域:

• 人工智能的人工智能
• 医疗信息学 医疗信息学
• 自然语言处理自然语言处理.

背景情况:

• 医疗报告生成自动化医疗图像准确的诊断报告,帮助放射科医生和提高疾病诊断效率.
• 医学图像和报告之间的细粒度对齐对于交叉模式生成至关重要,但受到放射科医生的写作风格视觉语言偏差的挑战.

研究的目的:

• 开发一个增强的两阶段医疗报告生成模型 (PhraseAug),解决视觉语言偏差.
• 引入一个短语库作为一种中间方式来分辨报告,并促进细粒度的图像-文本对齐.

主要方法:

• 一本词典,包括包括疾病术语和同义词在内的关键名词短语,被引入来表示分离的医疗报告.
• 开发了一个增强的两阶段模型 (PhraseAug),集成医疗图像,临床史和写作风格.
• 第一个阶段使用短语库提取特征并预测关键短语;第二个阶段基于这些短语生成报告.

主要成果:

• 通过适应不同的写作风格,PhraseAug模型在生成各种医疗报告方面表现得更好.
• 对IU-Xray和MIMIC-CXR数据集的实验表明PhraseAug的表现优于最先进的基线.
• 该词典有效地识别了同义句子,并促进了医疗图像和报告之间的细粒度对齐.

结论:

• 拟议的PhraseAug模型有效地通过利用短语库来减轻视觉语言偏差来生成准确和流利的医疗报告.
• 短语库的方法促进了更好的跨模式对齐,并使得各种报告的生成能够适应各种写作风格.
• PhraseAug在自动化医疗报告生成方面取得了重大进展,提高了临床实践中的效率和准确性.