在回答需要图像解释的病理学检查问题时,对ChatGPT和Bard进行比较分析

科学领域:

• 医学教育 医学教育
• 人工智能在病理学中的应用
• 数字病理学数字病理学

背景情况:

• 像ChatGPT和Bard这样的人工智能 (AI) 工具越来越多地被用于医学教育.
• 病理学图像解释是一种关键技能,通常通过检查问题进行评估.

研究的目的:

• 评估ChatGPT-4和Bard在回答需要图像解释的病理学检查问题上的准确性.
• 为了比较ChatGPT-4和Bard在临床背景下和没有临床背景的性能.

主要方法:

• 使用了86个多选题病理学问题 (17个一般,69个系统),其中62个包括显微镜图像.
• 对ChatGPT-4和Bard提出了有和没有临床背景的问题.
• 人工智能生成的答案与病理学家定义的参考标准进行了比较.

主要成果:

• 在临床背景下,ChatGPT-4实现了100%的准确性,而Bard的准确率为87.2%.
• 在没有上下文的情况下,对ChatGPT-4的准确率大幅下降,为52.3%,对Bard的准确率为38.4%.
• 聊天GPT-4的表现优于Bard,特别是在系统病理和诊断问题上;Bard在没有上下文的情况下表现出"幻觉".

结论:

• 聊天GPT和巴德在病理学教育中展示了潜在的实用性,特别是在图像解释方面.
• 在病理图像分析中,临床背景对于准确的AI性能至关重要.
• 医疗教育需要仔细整合人工智能工具.