调整,自动编码和促使大型语言模型用于新型疾病报告.

科学领域:

• 医疗成像中的人工智能
• 医疗保健的自然语言处理.
• 深度学习用于放射学.

背景情况:

• 自动放射学报告生成对于诊断放射学至关重要.
• 目前的方法需要大量的注释数据集,这些数据集对于新型疾病是不可用的.
• 这种限制阻碍了及时诊断和报告新出现的健康威胁.

研究的目的:

• 开发基于提示的深度学习框架 (PromptLLM) 以准确有效地生成新型疾病的放射学报告.
• 克服罕见或新发现疾病的培训模型中的数据稀缺问题.
• 为了能够快速获取知识,以报告具有有限标记数据的新型疾病.

主要方法:

• 快速LLM将视觉放射图像与文本报告对齐,以学习跨模式知识.
• 它使用新型疾病的未标记数据自动编码大型语言模型 (LLM),以捕获特定的知识和写作风格.
• 然后,该框架提示LLM使用已学到的信息来生成新型疾病的报告.

主要成果:

• 普罗姆特LLM在显著有限的标记数据 (1%的培训数据) 中展示了准确的新型疾病报告.
• 对COVID-19和各种胸部疾病的实验显示,与现有方法相比,其性能具有竞争力.
• 这种方法有效地减少了对大型注释医疗数据集的依赖.

结论:

• PromptLLM提供了一种高效的解决方案,用于生成新型疾病的放射学报告,即使具有最小的标记数据.
• 这一框架可以显著影响新型疾病爆发期间的早期分析和报告.
• 它放松了对广泛标记数据集的依赖,使人工智能辅助放射学更容易适应新出现的健康挑战.