在泌尿瘤学中对大型语言模型与多学科瘤板进行比较:来自盲目的前性CONCORDIA研究的结果

科学领域:

• 泌尿外科瘤学 泌尿外科瘤学
• 人工智能在医学中的应用
• 临床决策支持 临床决策支持

背景情况:

• 多学科瘤委员会 (MTB) 是癌症治疗规划的标准,但资源密集型.
• 大型语言模型 (LLM) 为瘤学临床决策支持提供了可扩展的解决方案.
• 在泌尿瘤学中对LLM的前性比较数据有限.

研究的目的:

• 为了前性地评估ChatGPT-4和Claude 3.5 Sonnet的性能与尿道瘤学中的真实MTB相比.
• 为了确定LLM的建议是否与生殖尿道癌症病例的MTB建议相比没有劣势.

主要方法:

• 一项前性,多中心的非劣势性研究 (DRKS00034797) 涉及110例泌尿生殖系统癌症病例.
• 标准化提示被用于从ChatGPT-4和Claude 3.5 Sonnet.中提取治疗建议.
• 建议被盲目的泌尿瘤学家使用修改后的系统因果关系量表 (mSCS) 独立评价,其非劣势率为0.15 mSCS点.

主要成果:

• 大型自行车的平均mSCS得分为0.849.
• 克劳德 3.5 索内特获得了0.731的平均mSCS分数,差不多缺失了非劣等性.
• 聊天GPT-4的得分为0.660,远低于非劣势差额.
• 在局部发病的情况下,LLM的表现比转移病例更好.

结论:

• 无论是ChatGPT-4还是Claude 3.5 Sonnet都没有达到尿道瘤学MTB建议的标准.
• 目前的公共LLM在支持复杂的瘤决策方面存在局限性.
• 在将LLMs整合到多学科癌症护理中之前,需要进一步验证和上下文改进.