通过OCT诊断视网膜疾病的多模式LLM:几次射击与单次射击学习
Reem Agbareia1,2, Mahmud Omar3,4,5, Ofira Zloto6,7
1Ophthalmology Department, Hadassah Medical Center, Jerusalem, Israel.
Therapeutic advances in ophthalmology
|May 22, 2025
概括
Few-shot促使从OCT图像中诊断视网膜疾病的多式大型语言模型 (LLM) 得到了显著改进. 这些人工智能工具对初级保健具有前景,有助于识别正常的视网膜并简化转诊.
科学领域:
- 眼科医生 眼科 眼科
- 人工智能的人工智能
- 医疗成像医学成像
背景情况:
- 多模式大语言模型 (LLM) 提供了在临床环境中分析结合文本和图像数据的潜力.
- 评估LLM用于视网膜疾病的诊断能力,使用光学连贯性断层扫描 (OCT) 图像至关重要.
研究的目的:
- 评估GPT-4o和Claude Sonnet 3.5在通过OCT图像识别视网膜疾病方面的诊断性能.
- 为了比较单射击与少数射击提示策略对这些多式联络LLM的有效性.
主要方法:
- 使用了两个公共的OCT数据集 (OCTID,OCTDL),其中包括专家标记的正常视网膜和病态视网膜的图像.
- GPT-4o和克劳德·索内特3.5均使用单射和少数射击提示方法进行了评估.
- 进行了统计分析,以确定整体和特定疾病诊断的性能差异.
主要成果:
- 这两种模型的诊断准确性都得到了显著提高,GPT-4o达到73.08%,Claude Sonnet 3.5达到70.98%.
- 在不同的条件下,使用几次射击提示的精度改进范围从2%到64%,在数据集中一致.
- 这两种模型都在采用少数射击学习时显示出显著的准确性增长 (p < 0.001).
结论:
- 少数射击促使的多式联络LLM显示出临床应用的潜力,特别是在识别正常视网膜以优化转介途径方面.
- 虽然目前的准确性落后于专业的深度学习模型,但这些LLM为例行视网膜疾病诊断提供了可访问的工具.
- 未来的研究应该探索进一步的验证和临床文本与成像数据的整合,以提高诊断能力.
