大型语言模型与区域引导的引用和接地用于CT报告生成

科学领域:

• 医学成像分析 医学成像分析
• 放射学中的人工智能
• 自然语言生成自然语言生成

背景情况:

• 计算机断层扫描 (CT) 报告生成至关重要,但耗时.
• 当前的方法往往忽略了特定的区域,可能错过了异常.
• 专注于局部解剖细节对于准确的解释至关重要.

研究的目的:

• 引入Reg2RG,这是CT报告生成的第一个以地区为导向的参考和基础框架.
• 通过强调CT卷内的解剖区域来提高诊断性能.
• 为了提高自动化放射学报告的解释性和准确性.

主要方法:

• 使用来自通用细分模块的面具来捕捉特定地区的本地特征.
• 实施了局部特征脱 (LFD) 策略,以有效地保存高分辨率细节.
• 综合本地和全球特征,以了解区域间的关系.
• 开发了一个区域报告调整 (RRA) 培训策略,用于指导区域特定报告的生成.
• 采用大型语言模型 (LLM) 作为区域级理解的解码器.

主要成果:

• 在两个大规模的胸部CT报告数据集上,Reg2RG显著超过了最先进的方法.
• 在自然语言生成和临床疗效指标方面都表现出卓越的表现.
• 在生成的报告中保持了有希望的解释性.

结论:

• Reg2RG通过有效整合特定区域的分析,为CT报告生成提供了一种优越的方法.
• 该框架提高了诊断准确性和报告质量,解决了全局特征唯一方法的局限性.
• 这一以地区为导向的战略代表了自动化放射性报告的重大进步.