预先训练有素的多式联络大型语言模型增强了使用SkinGPT-4的皮肤病诊断
Juexiao Zhou1,2,3, Xiaonan He4, Liyuan Sun5
1Computer Science Program, Computer, Electrical and Mathematical Sciences and Engineering Division, King Abdullah University of Science and Technology (KAUST), Thuwal, Kingdom of Saudi Arabia.
Nature communications
|July 5, 2024
概括
人工智能诊断工具SkinGPT-4利用多式大型语言模型 (LLM) 进行皮肤病学. 该系统分析皮肤图像,以帮助诊断皮肤疾病并推治疗方法.
科学领域:
- 人工智能在医学中的应用
- 皮肤病学 皮肤病学
- 医学成像分析 医学成像分析
背景情况:
- 皮肤和皮下疾病是全球主要的健康负担.
- 准确的皮肤病诊断对于有效的治疗至关重要.
- 现有的诊断方法可能耗时,需要专门的专业知识.
研究的目的:
- 开发一种名为SkinGPT-4的互动性皮肤病诊断系统.
- 为了提高诊断能力,利用多式联通大型语言模型 (LLM).
- 为用户提供人工智能驱动的皮肤病分析和治疗建议.
主要方法:
- 预先训练的视觉变压器与Llama-2-13b-chat LLM.的对齐.
- 创建一个广泛的数据集,包括52,929个皮肤疾病图像,临床概念和医生的笔记.
- 实施多模式LLM的两步培训战略.
- 在150个现实病例的定量评估中,与董事会认证的皮肤科医生合作.
主要成果:
- 皮肤GPT-4在评估皮肤图像和识别疾病特征方面表现出潜力.
- 该系统提供了自主图像评估,皮肤状况的分类和深入分析.
- 该系统生成了交互式治疗建议.
结论:
- 多模式的大型语言模型显示出促进皮肤病诊断的前景.
- 皮肤GPT-4为交互式和人工智能辅助的皮肤状况诊断提供了一种新的方法.
- 该系统有可能支持患者和医疗保健专业人员管理皮肤疾病.


