大型语言模型的熟练程度,清晰度和客观性与专家对COVID-19在怀孕中的影响的知识:跨部门试点研究
Nicola Luigi Bragazzi1,2, Michèle Buchinger3, Hisham Atwan4
1Laboratory for Industrial and Applied Mathematics, Department of Mathematics and Statistics, York University, Toronto, ON, Canada.
JMIR formative research
|January 10, 2025
概括
这项研究评估了COVID-19和怀孕信息的大型语言模型 (LLM). 虽然像ChatGPT-4和Copilot这样的先进AI显示出希望,但准确性和可访问性各不相同,需要仔细选择患者指导.
科学领域:
- 医疗信息学 医疗信息学
- 医疗保健中的人工智能
- 生殖健康 生殖健康
背景情况:
- 随着COVID-19大流行,医疗保健系统受到压力,并推动了健康错误信息的传播,尤其影响了孕妇.
- 妇科医生和妇产科医生面临的挑战是提供准确的指导,COVID-19的风险和疫苗安全性为孕妇.
- 包括大型语言模型 (LLM) 在内的生成人工智能 (AI) 具有潜力,但需要对医疗保健应用进行彻底评估.
研究的目的:
- 评估主要LLM在提供有关COVID-19在怀孕期间影响的信息方面的熟练程度,清晰度和客观性.
- 为了比较不同的人工智能模型在解决与大流行相关的复杂孕产妇健康问题方面的表现.
主要方法:
- 四个领先的人工智能原型 (ChatGPT-3.5,ChatGPT-4,微软Copilot,谷歌Bard) 用一个验证的问卷进行了评估.
- 采用零射击提示,评估包括知识准确性,文本挖掘,情感分析和可读性得分 (弗莱什-金凯德,弗莱什阅读方便).
- 这项研究涉及159名以色列妇科医生和产科医生验证评估问卷.
主要成果:
- 聊天GPT-4和微软Copilot的知识得分最高 (97%),其次是谷歌巴德 (94%) 和聊天GPT-3.5 (82%).
- 在ChatGPT-4 (流产风险),Bard和Copilot (传输/并发症) 中发现了轻微的不准确性;ChatGPT-3.5表现出最负面的情绪和最低的可读性.
- 微软Copilot提供了最容易访问的内容 (Flesch-Kincaid 9.9),而ChatGPT版本和Bard则产生了更复杂的响应.
结论:
- 在怀孕期间,LLM对COVID-19的准确性和沟通方式各不相同;ChatGPT-3.5表现最弱.
- 像ChatGPT-4,Copilot和Bard这样的高级模型通常提供准确的,与指南一致的信息,但需要持续验证.
- 人工智能工具有可能补充医疗保健知识,选择取决于目标受众和信息的特异性;客观的沟通对于患者的放心至关重要.
关键词:
在 COVID-19 疫情中,准确度 准确度 准确度 准确度 准确度聊天GPTPT 的意思生成型的人工智能 (GAI)谷歌的巴尔德 (Bard) 是一个妇科 妇科医生 妇科传染性 传染性 传染性大型语言模型微软的副驾驶员是微软的副驾驶员自然语言处理自然语言处理.产科 产科 产科 产科怀孕 怀孕 怀孕 怀孕 怀孕可读性 可读性生殖健康 生殖健康情绪的情绪是情绪的情绪文本采矿 文本采矿是什么接种疫苗 接种疫苗疫苗 疫苗 疫苗 疫苗女人 女人 女人 女人 女人零射击,零射击,零射击.更多相关视频
06:39Using a Murine Model of Psychosocial Stress in Pregnancy as a Translationally Relevant Paradigm for Psychiatric Disorders in Mothers and Infants
Published on: June 13, 2021
3.0K
07:36Modeling Encephalopathy of Prematurity Using Prenatal Hypoxia-ischemia with Intra-amniotic Lipopolysaccharide in Rats
Published on: November 20, 2015
11.3K
