使用多模式信息预测结果:整合大语言模型提取的临床信息和图像分析
Di Sun1, Lubomir Hadjiiski1, John Gormley1
1Department of Radiology, University of Michigan, Ann Arbor, MI 48109, USA.
Cancers
|July 13, 2024
概括
人工智能 (AI) 大语言模型 (LLM) 可以提取临床数据来改善膀癌存活预测在囊切除术后. 这种多模式的方法提高了使用LLM提取的信息和成像分析的预后准确性.
科学领域:
- 在瘤学瘤学.
- 人工智能的人工智能
- 医疗成像医学成像
背景情况:
- 准确的生存预测对于膀癌患者在囊切除术后的管理至关重要.
- 人工智能 (AI) 和大型语言模型 (LLM) 在提取临床数据和增强医疗图像分析方面显示出潜力.
研究的目的:
- 评估AI-LLM在提取临床信息的有效性,以预测膀癌患者的五年存活率.
- 开发和评估一个综合临床,放射学和深度学习描述符的多模式预测模型.
主要方法:
- 对163名膀癌患者的医疗记录和CT泌尿图 (CTU) 的回顾性分析,包括术后生存数据.
- 使用五个AI-LLM (Dolly-v2,Vicuna-13b,Llama-2.0-13b,GPT-3.5,GPT-4.0) 提取临床描述符并进行手动提取以进行比较.
- 从CTU图像中提取放射学和深度学习描述符.
- 开发一种结合临床,放射学和深度学习特征的多模式模型 (CRD).
主要成果:
- AI-LLM实现了高提取精度,从74%到97%不等,其中GPT-4.0表现最高 (94%-97%).
- 使用LLM提取的临床数据的CRD多模式模型显示出强大的预测性能 (AUC 0.81-0.88),与使用手动提取数据的模型 (AUC 0.89) 相比.
- 基于GPT-3.5和GPT-4.0的CRD模型实现了AUC分别为0.85-0.88和0.87-0.88.
结论:
- AI-LLM可以有效地从医疗记录中提取临床信息,用于预测膀癌的存活率.
- 将LLM衍生的临床数据与成像分析 (放射学,深度学习) 整合起来,可以改善囊切除术后临床结果的预测.
- 这种多模式的方法为提高预后准确性和在膀癌护理中的患者随访提供了一个有希望的工具.
