多模式变压器架构用于医疗图像分析和自动报告生成

科学领域:

• 人工智能在医学中的应用
• 医学成像分析 医学成像分析
• 自然语言生成自然语言生成

背景情况:

• 手动解释医疗图像和生成报告是耗时的,可能会延迟诊断.
• 自动化这个过程可以提高临床工作流程的效率和准确性.

研究的目的:

• 开发和评估医疗图像的自动化报告生成模型.
• 利用先进的变压器架构来改进医疗报告的生成.

主要方法:

• 使用编码器-解码器架构,利用视觉变压器 (ViT) 变体 (DEiT,BEiT) 作为编码器来进行视觉特征提取.
• 生成预训练变压器2 (GPT2) 作为文本生成的解码器,包含一个交叉注意力机制.
• 该模型得到了全面报告生成的一般知识的增强,并在印第安纳大学X射线数据集上进行了评估.

主要成果:

• 拟议的模型在报告生成中表现出优于经常性模型的性能.
• 使用像Bleu分数,Rouge-L和各种相似度指标等指标的评估表明,答案正确性和单词重叠有所改善.
• 该模型成功生成了基于视觉信息和一般知识的详细和连贯的医疗报告.

结论:

• 使用先进的变压器模型进行自动化报告生成,与手动流程相比,可以显著改进.
• 视觉信息和一般知识的整合提高了医疗报告的全面性和准确性.
• 这种方法有可能彻底改变医学图像分析和简化诊断工作流程.