甲状腺结节评估的LLM评估:比较ACR-TIRADS,C-TIRADS和临床医生-AI信任差距

科学领域:

• 人工智能在医学中的应用
• 医学成像诊断 诊断 医学成像诊断
• 临床决策支持系统 临床决策支持系统

背景情况:

• 甲状腺结节需要准确的恶性瘤风险分层来进行适当的管理.
• 目前的诊断方法依赖于专家对超声波结果的解释.
• 先进的大型语言模型 (LLM) 提供了自动化和标准化风险评估的潜力.

研究的目的:

• 评估LLM (GPT-4o,GPT-o3-mini,DeepSeek-R1) 在甲状腺结节恶性瘤风险分层中的诊断性能.
• 评估LLM在生成与指南一致的管理建议方面的临床实用性.
• 在ACR-TIRADS和C-TIRADS框架下比较LLM绩效.

主要方法:

• 一项使用标准化叙事超声描述器的诊断建模研究,用于三个LLMs.
• 通过ACR-TIRADS和C-TIRADS分类系统评估了LLM的输出.
• 临床医生评级评估了指导方针的遵守,安全性,可行性,适用性和整体性能.

主要成果:

• 在C-TIRADS下,GPT-4o实现了高诊断准确性 (AUC 0.898).
• 配备C-TIRADS的DeepSeek-R1获得了最高的临床医生信任和实际建议的评分.
• 在所有评估的LLMs中,临床医生更喜欢C-TIRADS框架.

结论:

• 虽然GPT-4o显示出卓越的诊断准确性,但DeepSeek-R1与C-TIRADS是可信的,实用建议的首选.
• 人工智能输出与临床医生的期望之间的调整对于LLM实施至关重要.
• 纳入像C-TIRADS这样的特定区域的指导方针对于在甲状腺结节管理中的实际LLM应用至关重要.