评估大型语言模型 (LLM) 在已建立的乳腺分类系统上的性能
Syed Ali Haider1, Sophia M Pressman1, Sahar Borna1
1Division of Plastic Surgery, Mayo Clinic, Jacksonville, FL 32224, USA.
Diagnostics (Basel, Switzerland)
|July 27, 2024
概括
双子号在使用医疗人工智能对复杂的乳腺疾病进行分类时,比ChatGPT-4 (71%) 显示出更高的准确性 (98%). 这一进步有望改善整形外科医生的诊断支持,并改善患者的治疗结果.
科学领域:
- 医疗人工智能 医疗人工智能
- 整形外科 整形外科 整形外科
- 诊断成像 诊断成像 诊断成像
背景情况:
- 先进的大型语言模型 (LLM) 是医学诊断中的新兴工具.
- 准确的乳腺状况分类对于有效的整形手术治疗计划至关重要.
- 现有的LLM需要对其解释复杂的医疗分类系统的能力进行评估.
研究的目的:
- 评估高级LLM (ChatGPT-4和Gemini) 对各种乳腺疾病的诊断分类准确性.
- 为了比较双子座和ChatGPT-4在五个已建立的乳腺相关分类系统中的表现.
- 确定LLMs在协助整形外科医生诊断决策方面的潜力.
主要方法:
- 开发了50个涉及乳腺疾病的临床场景.
- 聊天GPT-4和双子座的分类准确性与五个特定的乳腺分类系统进行了评估.
- 对LLM答案的正确性得分为 (0-2),并使用描述性统计数据进行比较.
主要成果:
- 双子座的整体准确率达到了98%,明显超过了ChatGPT-4的71%准确率.
- 这两种LLM在贝克和UTSW分类中表现良好.
- 双子座在Fischer,Kajava和Regnault分类中显示了比ChatGPT-4更高的准确性.
结论:
- 与ChatGPT-4相比,双子座在分类复杂乳腺疾病方面表现优越.
- 在整形外科手术中,LLM显示出增强诊断支持的巨大潜力.
- 进一步开发和整合LLMs可以提高诊断准确性和整形外科的患者结果.
相关概念视频
Classification of Systems-I
Linearity is a system property characterized by a direct input-output relationship, combining homogeneity and additivity.
Homogeneity dictates that if an input x(t) is multiplied by a constant c, the output y(t) is multiplied by the same constant. Mathematically, this is expressed as:
Homogeneity dictates that if an input x(t) is multiplied by a constant c, the output y(t) is multiplied by the same constant. Mathematically, this is expressed as:
Classification of Systems-II
Continuous-time systems have continuous input and output signals, with time measured continuously. These systems are generally defined by differential or algebraic equations. For instance, in an RC circuit, the relationship between input and output voltage is expressed through a differential equation derived from Ohm's law and the capacitor relation,


