[基于人工智能的大型语言模型的有效性和安全性,用于科决策支持:专家和全科医生的评估]

科学领域:

• 医疗信息学 医疗信息学
• 手术创新 在外科创新.
• 医疗保健中的人工智能

背景情况:

• 像ChatGPT这样的大型语言模型 (LLM) 越来越多地被用于医学信息检索.
• 针对特殊的外科领域,如 inguinal hernia修复,LLM产生的内容的可靠性需要严格的评估.
• 了解专家和非专家对人工智能驱动的医疗建议的看法,对于安全融入临床实践至关重要.

研究的目的:

• 评估ChatGPT为 inguinal hernia修复提供的手术建议的质量.
• 为了比较外科专家和非专家对ChatGPT的反应的评估.
• 调查ChatGPT引用的参考资料和证据的准确性.

主要方法:

• 聊天GPT得到了五个关于 inguinal hernia 管理的问题,并指示使用专门的医疗数据库.
• 瘤学专家和普通外科医生 (非专家) 在0-3级别上对ChatGPT反应的质量进行了评分.
• 统计分析探讨了参与者的评分和他们对人工智能的看法之间的相关性.

主要成果:

• 外科专家对ChatGPT的建议的评价明显低于非专家 (p<0.001).
• 聊天GPT未能提供有效的引用,并捏造了大约一半的引用来源.
• 尽管存在质量问题,但受访者对临床决策支持中的AI表示乐观,并反对限制其使用.

结论:

• 非专业的大型语言模型不建议作为临床决策的唯一或主要来源或作为虚拟搜索助手.
• 目前LLM在提供准确和基于证据的外科推方面的能力有限.
• 在关键医疗保健应用中广泛采用之前,需要进一步开发和验证.