改善手术前质瘤分类的诊断准确性:与放射科医生相比,知识增强的大型语言模型的性能

科学领域:

• 神经辐射学神经辐射学
• 人工智能在医学中的应用
• 在瘤学瘤学.

背景情况:

• 通过MRI准确的手术前质瘤分类至关重要,但由于复杂的特征和观察者之间的变异性而受到阻碍.
• 标准化的MRI协议和特征提取是可靠的质瘤分级的关键.

研究的目的:

• 评估三种大型语言模型 (LLM) 在基于VASARI的质瘤分类中的性能,与放射科医生的解释相比.
• 评估知识增强提示对LLM诊断一致性和准确性的影响.

主要方法:

• 通过使用标准化MRI对150种经本病理学确认的质瘤进行了回顾性分析.
• 瓦萨里特征由三个放射科医生进行提取.
• 三个LLM (GPT-4,Claude3.5-Sonnet,Claude3.0-Opus) 通过使用标准和知识增强提示来分析特征.

主要成果:

• 增强知识的提示显著改善了LLM诊断的一致性 (模型内部协议:Sonnet κ=0.91,Opus κ=0.92,GPT-4 κ=0.72).
• 用知识增强提示的Claude3.5-Sonnet实现了与高级放射科医生 (AUC=0.88) 相比的诊断性能 (AUC=0.84),用于扩散与有限的分类.
• 在LLM的帮助下,初级放射科医生的表现得到了改善 (AUC从0.77增加到0.83).

结论:

• 经过知识增强的LLM在质瘤分类方面表现出与经验丰富的放射科医生相美的诊断性能.
• LLM显示出作为决策支持工具的潜力,以提高放射科医生的准确性,特别是对于初级从业者.
• 在使用LLM进行临床决策时,放射科医生的监督仍然至关重要.