评估GPT-4Vision神经退行性疾病组织病理学中少数射击学习的有效性:与卷积神经网络模型进行比较分析

科学领域:

• 神经病理学神经病理学
• 人工智能的人工智能
• 医学图像分析 医学图像分析

背景情况:

• 像GPT-4视觉 (GPT-4V) 这样的大型语言模型 (LLM) 显示出医学图像解释的前景.
• 组织病理图像分析对于诊断神经退行性疾病至关重要.
• 传统的卷积神经网络 (CNN) 是这个领域的成熟工具.

研究的目的:

• 评估GPT-4V在分类神经退行性疾病的组织病理图像中的准确性.
• 将GPT-4V的性能与CNN模型 (YOLOv8) 的性能进行比较.
• 评估几次射击学习对GPT-4V诊断精度的影响.

主要方法:

• 利用了1520张来自阿尔茨海默氏症,渐进性上核性麻和皮质核性退行症患者的组织病理图像 (H&E,tau IHC).
• 评估了GPT-4V的性能,使用多步骤提示和针对特定tau病变的几次射击学习.
• 将GPT-4V的分类精度与YOLOv8.8的分类精度进行比较.

主要成果:

• GPT-4V识别了染色和组织来源,但在特定的病变识别方面遇到了困难.
• 文本上下文影响了GPT-4V的解释,有时会导致诊断不准确.
• 几次射击学习显著提高了GPT-4V的精度,从40% (零次射击) 提高到90% (20次射击),与YOLOv8的性能 (100次射击) 相匹配.

结论:

• GPT-4V需要几次拍摄的学习才能准确地解释病原体图像.
• 这种方法显示了神经病理学的巨大潜力,克服了数据集获取方面的挑战.
• 短暂的学习使GPT-4V能够实现与YOLOv8.8等CNN相比较的性能.