![Quantitative [18F]-Naf-PET-MRI Analysis for the Evaluation of Dynamic Bone Turnover in a Patient with Facetogenic Low Back Pain](/_next/image?url=https%3A%2F%2Fcloudfront.jove.com%2FCDNSource%2Fteasers%2F58491.jpg&w=3840&q=50)
在评估基于ACR适当性标准的肌肉骨MRI扫描适当性的ChatGPT表现
Jin Rong Tan1,2, Daniel Y Z Lim3,4,5, Quan Le5
1Department of Diagnostic Radiology, Singapore General Hospital, Outram Road, Singapore, 169608, Singapore. tan.jin.rong@singhealth.com.sg.
Scientific reports
|February 28, 2025
概括
优化的大型语言模型 (LLM) 显示了在放射学中临床决策支持的前景. 基于GPT-4的LLM在评估MRI适当性方面取得了92.86%的准确性,超过标准模型并接近专家临床医生的表现.
科学领域:
- 人工智能在医学中的应用
- 放射学决策支持 放射学决定支持
- 自然语言处理应用程序
背景情况:
- 大型语言模型 (LLM) 显示出临床决策支持的潜力,但它们在放射学中用于成像适当性评估的应用研究不足.
- 将LLM与特定领域的知识相结合,对于提高其临床实用性至关重要.
研究的目的:
- 评估基于GPT-4的文本化LLM在评估肌肉骨MRI扫描请求的适当性方面的表现.
- 将LLM的表现与标准模型,优化版本和人类临床医生进行比较.
主要方法:
- 使用检索增强生成框架,为LLM提供美国放射学学院适当性标准指南.
- 创建了一个由70个虚构的肌肉骨MRI场景组成的数据集,包括缺乏足够临床信息的病例.
- 使用McNemar中期P测试量化分析了LLM的表现,并与放射科住院医生,次专家护理人员和整形外科医生进行了比较.
主要成果:
- 优化的LLM实现了92.86%的准确性,显著超过基线 (61.43%) 和标准GPT-4 (51.29%) 模型 (P < .001).
- 优化模型在识别缺乏临床信息的病例方面表现出卓越的表现.
- 优化的LLM的表现与人类临床医生 (包括亚专科医生放射科医生) 相美,在某些情况下甚至比他们更好.
结论:
- 语境化和优化显著提高了基于GPT-4的LLM性能,以评估放射学中的成像适当性.
- 优化的LLM显示出相当大的希望,作为医学成像中的有效临床决策支持工具.
- 对LLM整合的进一步研究可以提高放射学中的诊断准确性和效率.
