在组织学图像解释中评估GPT-4o的可靠性

科学领域:

• 医学教育 医学教育
• 人工智能在病理学中的应用

背景情况:

• 具有多式联络能力的高级大型语言模型 (LLM) 在医学教育中提供了新的机会.
• 评估AI在组织学等专业领域的诊断能力至关重要.

研究的目的:

• 评估GPT-4o在解释正常组织学图像中的性能.
• 为了确定GPT-4o在不同组织类型和放大级别的准确性.

主要方法:

• GPT-4o解释了来自四种组织类型的120张组织图像,用三种放大级别.
• 三位组织学专家使用识别和功能的4点标签评估了GPT-4o的反应.
• 统计分析包括ANOVA,皮尔森相关性和可靠性的ICC.

主要成果:

• GPT-4o的平均得分为2.71,其中59.01%的评分为"好"或"优秀".
• 性能因组织类型 (上皮最高,肌肉最低) 和放大 (组合放大优于单独低) 而有所不同.
• 组织/器官识别得分高于结构识别或功能评估.

结论:

• GPT-4o表现出适度的组织学解释能力,受组织类型和放大的影响.
• 人工智能模型在分析跨多个放大级别的图像时表现最好.
• 发现表明在医学教育中的潜在应用,但强调需要专家的人类监督.