在医学诊断中评估多式联络人工智能
Robert Kaczmarczyk1, Theresa Isabelle Wilhelm2, Ron Martin3
1Department of Dermatology and Allergy, School of Medicine, Technical University of Munich, Munich, Germany.
NPJ digital medicine
|August 7, 2024
概括
这项研究评估了人工智能模型与人类智能的临床诊断问题. 虽然克劳德3人工智能显示出高精度,但人类集体决策仍然优越,突出了人工智能.
科学领域:
- 人工智能的人工智能
- 医学诊断 医学诊断 医学诊断
- 临床决策支持 临床决策支持
背景情况:
- 多模式人工智能模型越来越多地被用于临床应用.
- 对人类专业知识进行AI性能评估对于诊断工具至关重要.
- NEJM图像挑战赛为医学图像解释提供了一个基准.
研究的目的:
- 将多式联络人工智能模型的准确性和响应性与人类集体智能的比较.
- 确定当前AI在临床诊断中的优势和局限性.
- 分析基于问题的复杂性和图像特征的AI性能变化.
主要方法:
- 利用NEJM图像挑战数据集来评估AI模型.
- 评估各种多式联机人工智能模型的准确性和响应性 (例如,克劳德3,GPT-4视觉预览).
- 将人工智能性能与总体人类专家决策进行比较.
主要成果:
- 在经过测试的AI模型中,Anthropic的Claude 3家族实现了最高的准确性.
- 克劳德3超越了人类平均准确度,但人类集体决策表现优于所有人工智能模型.
- GPT-4视觉预览显示了选择性响应模式,偏好更简单的问题和更小的图像.
结论:
- 多模式人工智能在临床诊断中显示出重大潜力,但目前存在局限性.
- 人类集体智能仍然是复杂诊断任务的基准.
- 人工智能模型的性能受到问题难度和图像属性的影响,需要进一步研究.
