从知识生成到知识验证:检查ChatGPT的生物医学生成能力

科学领域:

• 计算生物学是一种计算生物学.
• 生物医学信息学是生物医学信息学.
• 医疗保健中的人工智能

背景情况:

• 大型语言模型 (LLM) 提供了加速科学任务的潜力.
• 人们对LLM产生的生物医学知识的真实性和可靠性存在担忧.
• 需要强大的方法来评估人工智能生成的生物医学信息的准确性.

研究的目的:

• 提出一种计算方法来评估LLMs产生的生物医学知识的事实准确性.
• 评估各种ChatGPT模型产生的以疾病为中心的关联 (药物,症状,基因) 的一致性和可靠性.
• 确定在生物医学知识发现中使用LLM的局限性和潜在改进.

主要方法:

• 开发了一个计算框架,使用快速设计的LLM (ChatGPT,GPT-4,GPT-4o,GPT-4o-mini) 来生成以疾病为中心的关联.
• 与已建立的生物医学本体学相比,经过验证的产生的关联.
• 评估疾病,药物和遗传术语识别的准确性,以及疾病-药物,疾病-基因和疾病-症状关系的覆盖.

主要成果:

• 在识别疾病术语 (88%-97%),药物名称 (90%-91%) 和遗传信息 (88%-98%) 中的高精度.
• 症状术语识别的准确性较低 (49%-61%),归因于非正式的描述.
• 疾病与药物 (89%-91%) 和疾病与基因 (89%-91%) 的关联有很好的覆盖率,疾病与症状的关联 (49%-62%) 的覆盖率较低.
• 生成的标识符经常是无效的或冗余的,尽管具有很高的术语准确性.

结论:

• 在谨慎使用时,LLM产生的生物医学知识是可靠的.
• 快速的工程和对本体论的验证对于准确性至关重要.
• 检索增强生成 (RAG) 显示出提高生物医学应用中LLM输出可靠性的承诺.