记忆引导变压器与空间语义视觉提取器用于医疗报告生成

科学领域:

• 医疗成像医学成像
• 人工智能的人工智能
• 放射学 放射学是一门学科.

背景情况:

• 医学成像报告的生成是耗时且容易出现错误的,特别是对于缺乏经验的放射科医生来说.
• 自动报告系统旨在提高诊断准确性和效率.
• 变压器模型对报告生成有希望,但在捕捉详细的图像特征方面存在困难.

研究的目的:

• 开发一种改进的方法,用于自动生成放射学报告.
• 提高变压器模型从医疗图像中提取空间和语义信息的能力.
• 为了使更详细,更准确的放射学报告.

主要方法:

• 建议将空间语义视觉提取器 (SSVE) 集成到ResNet 101骨干中.
• 结合了空间不变特征的可变形网络和用于多尺度语义信息的语义网络.
• 融合网络表示以捕获细粒度图像细节.

主要成果:

• 拟议的SSVE模型与现有方法相比,显示出更高的性能.
• 该模型有效地捕获来自放射图像的多尺度空间和语义信息.
• 在生成的报告中增加了细节,从而提高了诊断潜力.

结论:

• SSVE显著提高了基于变压器的医疗报告生成的质量和准确性.
• 这种方法解决了当前模型中捕获细粒度细节的局限性.
• 该方法具有提高放射学诊断效率和准确性的潜力.