基准测试放射学报告从杂的自由文本生成

科学领域:

• 医疗成像中的人工智能
• 医疗保健的自然语言处理.
• 放射学 信息学 信息学

背景情况:

• 自动放射学报告生成对于诊断效率至关重要,但在有限的清洁数据方面面临挑战.
• 现有的放射文本通常很,不适合直接使用.
• 需要一种方法来改进杂的自由文本,使其成为准确的放射学报告.

研究的目的:

• 引入一个新的任务,噪音报告精制 (NRR),从噪音的自由文本生成放射学报告.
• 提出一个报告改进管道,利用大型语言模型 (LLM) 进行指导式自我批评和报告选择.
• 开发一个新的基准,NRRBench,用临床可解释的基于LLM的指标来评估NRR.

主要方法:

• 开发了一个报告改进管道,使用LLMs与指导自我批评和报告选择策略.
• 推出了NRRBench,包括两个NRR的在线来源数据集.
• 提出了四个基于LLM的指标:放射学实体匹配,模式特定模板属性匹配,报告清洁性和整体性能.

主要成果:

• 有指导的自我批评和报告选择策略显著提高了精细的放射学报告的质量.
• 拟议的NRRBench指标与传统指标相比,与报告噪音和错误率的相关性更高.
• 基于LLM的指标有效评估了NRR中的清洁性,放射性有用性和事实正确性.

结论:

• 拟议的NRR管道有效地将杂的放射性文本精制成可用的报告.
• NRRBench及其相关指标为NRR任务提供了一个强大的评估框架.
• 这项工作通过解决数据噪声和改进评估方法来推进自动放射学报告的生成.