计算机化诊断决策支持系统-伊莎贝尔Pro与ChatGPT-4第二部分

科学领域:

• 医疗信息学 医疗信息学
• 医疗保健中的人工智能
• 临床决策支持系统 临床决策支持系统

背景情况:

• 像ChatGPT-4这样的大型语言模型 (LLM) 越来越多地被用于临床应用.
• 在广泛采用之前,评估LLM的诊断准确性和可靠性至关重要.
• 现有的诊断决策支持系统 (DDSS) 也存在限制,需要进行比较.

研究的目的:

• 为了评估与Isabel Pro DDSS相比,ChatGPT-4的诊断准确性.
• 调查快速工程 (思维树) 和专家小组规模对ChatGPT-4性能的影响.
• 在诊断环境中评估ChatGPT-4的可复制性和引用准确性.

主要方法:

• 利用来自新英格兰医学杂志的201例病例进行差异诊断.
• 雇佣的统计指标包括平均互惠等级 (MRR),在等级上召回和平均等级.
• 通过r平方计算评估可重复性,并评估参考和DOI的引用准确性.

主要成果:

• 聊天GPT-4在10岁时改善了MRR和RECALL,但确诊次数较少,平均排名较低.
• 修改Isabel Pro的差异性提高了10的回忆率11%;一个由两人组成的专家小组产生了最佳的结果.
• 可复制性运行显示出不良的一致性 (r-平方0.34-0.44),参考准确性很低 (34.8%的引用, 37.8%的DOI).

结论:

• 聊天GPT-4显示出潜力,但在诊断准确性和可靠性方面面临重大挑战.
• 糟糕的可复制性和高频率的伪造参考限制了其目前的诊断临床实用性.
• 需要进一步开发来解决这些关键问题,然后才能安全地将ChatGPT-4集成到临床诊断工作流中.