基于深度学习的放射学报告生成的调查,使用多式联络输入

科学领域:

• 人工智能的人工智能
• 医学图像分析 医学图像分析
• 自然语言处理自然语言处理.

背景情况:

• 自动生成放射学报告对于医生工作量和资源公平性至关重要.
• 当前的方法在整合多模式数据 (图像,临床信息,知识) 时面临挑战.
• 深度学习方法,包括变换器和对比学习,正在迅速推进这个领域.

研究的目的:

• 为自动放射学报告生成提供深度学习技术的最新调查.
• 提出一个一般的工作流程,包括数据采集,准备,特征学习,融合和报告生成.
• 突出最先进的方法,大型模型开发,可解释性,数据集和评估指标.

主要方法:

• 总结最近的深度学习技术 (转换器,对比学习,知识库).
• 提出一个由五个组成部分组成的工作流程:多模式数据采集,准备,特征学习,特征融合/交互和报告生成.
• 审查大型基于模型的方法,模型可解释性,公共数据集和评估指标.

主要成果:

• 确定了基于深度学习的报告生成的关键技术和结构化工作流程.
• 为拟议工作流程的每个组成部分突出展示了最新的方法.
• 在相同的实验条件下进行不同方法的定量比较.

结论:

• 该调查提供了关于用于自动生成放射学报告的多式联络数据融合的全面信息.
• 它旨在指导研究人员开发用于临床报告生成和医学图像分析的先进算法.
• 讨论了该领域的未来方向和当前挑战,以促进进一步的研究.