克劳德3 Opus和ChatGPT与GPT-4在皮肤镜图像分析中用于黑色素瘤诊断:比较性能分析

科学领域:

• 人工智能在医学中的应用
• 皮肤病学和人工智能
• 医学图像分析 医学图像分析

背景情况:

• 人工智能和LLM的进步为皮肤病学提供了潜力.
• 具有图像分析能力的LLM对皮肤病诊断有很大的兴趣.
• 计算机视觉集成使LLMs能够进行医学图像分析.

研究的目的:

• 用皮肤镜图像来比较Claude 3 Opus和ChatGPT (GPT-4) 在黑色素瘤检测中的诊断性能.
• 提供关于这些LLM在皮肤病诊断中的优点和局限性的见解.

主要方法:

• 从ISIC档案库中随机选择了100张经组织病理学确认的皮肤镜像 (50种恶性,50种良性).
• 模型被要求根据可能性排列前3个差异诊断.
• 使用McNemar测试评估了初级诊断准确度,前三差异诊断准确度和恶性瘤歧视.

主要成果:

• 在Claude 3 Opus和ChatGPT之间,初级诊断准确度或前3个差异诊断没有显著差异.
• 克劳德3Opus显示出明显更好的恶性瘤歧视 (64%的准确率) 比ChatGPT (44%的准确率).
• 克劳德3的Opus对歧视性恶性瘤的赔率比为3.951,而ChatGPT-4的赔率比为0.616.

结论:

• 在帮助皮肤科医生方面,LLM显示出潜力,但在诊断黑色素瘤方面存在局限性.
• 两种模型都存在诊断错误,突出了对强大的,经过临床验证的AI的需求.
• 人工智能不能取代皮肤病学训练有素的临床医生的专业知识.