评估一个大型语言模型能够响应临床医生对证据摘要的要求的能力
Mallory N Blasingame1, Taneya Y Koonce2, Annette M Williams3
1mallory.n.blasingame@vumc.org, Information Scientist & Assistant Director for Evidence Provision, Center for Knowledge Management, Vanderbilt University Medical Center, Nashville, TN.
生成型人工智能 (AI) 工具在回答临床问题方面表现有前途,GPT-4实现了高精度. 然而,仔细验证人工智能生成的参考文献对于可靠的临床决策至关重要.
科学领域:
- 医疗信息学 医疗信息学
- 医疗保健中的人工智能
背景情况:
- 临床问题需要及时和准确的证据综合.
- 医学图书馆员提供黄金标准的证据摘要.
- 生成型人工智能工具提供了协助证据检索的潜力.
研究的目的:
- 评估生成性AI工具 (GPT-4) 在回答临床问题的性能.
- 将人工智能产生的反应与医学图书馆员的证据综合进行比较.
主要方法:
- 从现有的数据库中提取临床问题.
- 使用COSTAR框架开发了一个标准化的提示.
- 使用GPT-4的内部管理聊天工具 (aiChat) 来生成响应.
- 对图书馆员创建的黄金标准进行评估的AI摘要.
- 验证了AI提供的参考资料的一个子集.
主要成果:
- 在216个临床问题中,GPT-4 (aiChat) 为99.5%提供了正确或部分正确的答案.
- 在各类问题类别中没有观察到评级的显著差异.
- 人工智能工具引用的参考文献中,只有37%被证实为非制造的.
结论:
- 生成型人工智能在回答临床问题方面表现出有前途的表现.
- 很大一部分由人工智能产生的引用是无法验证的或伪造的.
- 需要进一步的研究,以了解人工智能融入医学图书馆工作流程.
更多相关视频
07:31Implementation of a Real-Time Psychosis Risk Detection and Alerting System Based on Electronic Health Records using CogStack
Published on: May 15, 2020
09:00Author Spotlight: Validation of SICOLE-R for Assessing Cognitive and Reading Skills in Spanish-Speaking Children and Its Role in Personalized Education
Published on: August 16, 2024
相关概念视频
Methods of Documentation VI: Case Management Model
For example, a patient with a chronic...
Clinical Trials
There are four phases in a clinical trial. A phase one...
Modeling in Therapy
Participant Modeling
Participant modeling involves therapists demonstrating calm and effective behaviors in...
Nursing Evaluation
Purpose of Health Records I
Here's a breakdown of how health records serve these purposes:
Methods of Documentation V: CBE
In CBE, healthcare professionals establish predefined standards of practice that define what constitutes...
