在遗传条件下评估与衰老相关的大型语言模型性能

科学领域:

• 生物医学信息学 生物医学信息学
• 遗传学 遗传学 是一个
• 人工智能的人工智能

背景情况:

• 在儿童群体中,遗传疾病经常被描述,对成人表现和管理的理解有限.
• 关于遗传性疾病患者的临床进展和终身护理的知识差距存在.
• 生成型人工智能,特别是大型语言模型 (LLM),为复杂的生物医学数据分析提供了潜在的解决方案.

研究的目的:

• 评估LLM在处理282种遗传疾病的与年龄有关的方面的能力.
• 评估LLM在生成准确的医学简报和患者-遗传学家对话方面的表现.
• 识别潜在的基于年龄的偏见或限制在遗传疾病信息的LLM输出中.

主要方法:

• 根据表现年龄和管理变化对282种遗传疾病进行了分类.
• 评估了Llama-2-70b-chat (70b) 和GPT-3.5 (GPT) 用于生成医疗图片,评估正确性,完整性和简洁性.
• 利用生成的图片作为提示,创建和评估患者遗传学家对基于年龄的管理对话.

主要成果:

• 70b和GPT都在生成准确的医疗图片方面表现出令人印象深刻的表现.
• 在LLM输出中没有观察到任何重要的总体基于年龄的偏差.
• 在特定领域发现了统计学上显著的差异,表明了细微的LLM绩效差异.

结论:

• 在处理和生成有关年龄相关遗传条件特征的信息方面,LLM表现出强大的能力.
• 虽然有希望,LLMs目前在遗传医学中直接临床应用的局限性.
• 需要进一步的开发和验证,以充分利用LLMs,在整个生命周期内全面管理遗传疾病.