一个用于人类病理的多式生成人工智能副驾驶员
Ming Y Lu1,2,3,4, Bowen Chen1,2, Drew F K Williamson1,2,3
1Department of Pathology, Brigham and Women's Hospital, Harvard Medical School, Boston, MA, USA.
Nature
|June 12, 2024
概括
这是一个新的AI助理, 整合视觉和语言功能. 与其他人工智能模型相比,它在诊断问题上表现出卓越的表现,并提供更准确,更喜欢的答案.
科学领域:
- 计算病理学
- 医学中的人工智能
- 视觉语言模型
背景情况:
- 通过预测模型和自我监督视觉编码器,
- 生成型人工智能增长超过了用于病理学的通用人工智能助手的发展.
研究的目的:
- 介绍PathChat, 一种针对人类病理的全新视觉语言通用人工智能助理.
- 将PathChat的性能与现有的多式人工智能助理和GPT-4V进行评估.
主要方法:
- 调整了一个基础视觉编码器用于病理学.
- 结合一个经过预训练的大型语言模型.
- 在超过456,000个特定病理的视觉语言指令上微调了系统.
主要成果:
- 在多选项诊断问题上取得了最先进的表现.
- 人类专家评估显示PathChat对开放式查询提供了更准确和更喜欢的答案.
- 在病理学相关任务中,PathChat的表现优于其他多式人工智能助理和GPT-4V.
结论:
- 通过PathChat, 人工智能助理在病理学方面取得了重大进步.
- 它在处理视觉和自然语言输入方面的能力为教育,研究和临床决策提供了潜在的应用.
- 通过互动辅助,PathChat可以提高病理学家的表现.


