肝病学中的人工智能:对回答临床问题的ChatGPT-4,Bing和Bard进行比较分析
Sama Anvari1, Yung Lee2,3, David Shiqiang Jin4
1Division of Gastroenterology, Department of Medicine, McMaster University, Hamilton, ON, L8S 4L8, Canada.
Journal of the Canadian Association of Gastroenterology
|April 14, 2025
概括
人工智能 (AI) 模型在回答肝病学问题的准确性各不相同. 聊天GPT-4表现最好,在临床环境中展示了大型语言模型 (LLM) 的潜力,需要进一步研究.
科学领域:
- 肝病学 肝病学是一种肝病学.
- 人工智能的人工智能
- 医学教育 医学教育
背景情况:
- 人工智能在肝病学中的应用正在增长,但其在回答临床问题的准确性尚未得到充分证实.
- 评估像ChatGPT这样的大型语言模型 (LLM) 的功能对于它们融入医疗实践至关重要.
研究的目的:
- 在回答肝病学相关的临床问题时,评估不同LLM的答案的准确性和质量.
- 为了比较在专业医疗领域的各种法学士的表现.
主要方法:
- 来自自学问平台的144个肝病学问题被输入到ChatGPT-4,Bing和Bard.
- 问题以多选项和开放式的形式呈现.
- 评估了答案的准确性和完整性,并进行了统计分析.
主要成果:
- 聊天GPT-4实现了最高的准确性 (62.3%的多选项, 44.4%的开放式).
- 在两个问题格式中,Bing和Bard的准确率都较低.
- 聊天GPT-4和Bing回答了所有问题,而Bard没有回答11.8%的问题.
结论:
- 在回答临床肝病学问题时,LLM表现出可变的准确性.
- 问题的格式 (多选项与开放式) 并没有显著影响LLM的有效性.
- 需要进一步调查,以确定肝病学LLM的最佳临床和教育应用.
更多相关视频
07:32Author Spotlight: Investigating Immune Cell Dynamics in the Tumor Microenvironment — Challenges and Innovations in Cancer Prognosis
Published on: April 12, 2024
1.1K
03:14Augmenting Large Language Models via Vector Embeddings to Improve Domain-Specific Responsiveness
Published on: December 6, 2024
463
