大型语言模型中的参考幻觉和临床可靠性:使用慢性疼痛再生医学指南进行比较分析
Ozlem Kuculmez1, Ahmet Usen2, Emine Dündar Ahi3
1Department of Physical Medicine and Rehabilitation, Baskent University Alanya Hospital, Oba neighbourhood, Cevreyolu Street. No:79, Alanya, Antalya, 07400, Turkey.
Rheumatology international
|September 27, 2025
概括
克劳德·奥普斯4在回答关于慢性疼痛再生疗法指南的问题时表现出卓越的准确性和可靠性,比ChatGPT-4o和双子座2.5闪光灯更少的幻觉.
科学领域:
- 人工智能的人工智能
- 医疗信息学 医疗信息学
- 疼痛管理 疼痛管理
背景情况:
- 大型语言模型 (LLM) 在医疗保健中的应用正在迅速扩大.
- 对专业医疗指南进行LLM绩效评估对于安全有效的实施至关重要.
- 慢性疼痛的再生疗法指南提供了复杂的信息,需要准确的解释.
研究的目的:
- 为了比较三个领先的LLM (ChatGPT-4o,Gemini 2.5 Flash,Claude 4 Opus) 在回答关于慢性疼痛再生疗法指南的开放式问题的表现.
- 评估关键指标,包括准确性,可靠性,有用性,可读性,语义相似性和幻觉率.
主要方法:
- 采用了横截面研究设计.
- 根据美国疼痛和神经科学协会的再生疗法指南,开发了16个开放式问题.
- 来自ChatGPT-4o,Gemini 2.5 Flash和Claude 4 Opus的响应被使用利克尔特尺度对可用性和可靠性,准确度尺度以及幻觉,可读性 (Flesch-Kincaid) 和语义相似性 (USE,ROUGE-L) 的指标来评估.
主要成果:
- 克劳德4 Opus在可靠性 (5.19 ± 1.11),实用性 (5.06 ± 1.0) 和临床准确性 (4.06 ± 0.68) 方面表现出最高的分数.
- 与ChatGPT-4o (8.38 ± 1.86) 和双子座2.5闪光 (8.75 ± 1.73) 相比,Claude 4 Opus的参考幻觉率 (4.44 ± 3.18) 显著降低.
- 克劳德4Opus和双子星2.5闪光显示出优越的语义相似性 (分别为0.68±0.08和0.65±0.07) 超过ChatGPT-4o (0.60±0.09). 双子座2.5闪光灯在ROUGE-L F1得分 (0.12 ± 0.03) 中进行了引领.
结论:
- 在测试的模型中,Claude 4 Opus是最准确,可靠和有用的LLM,用于解释慢性疼痛的再生疗法指南.
- 虽然可读性相当,但Claude 4 Opus显著减少了事实上的不准确性和幻觉.
- 需要进一步的研究来探索临床指南解释和应用中的LLM能力.
相关概念视频
Neural Regulation
43.0K
Digestion begins with a cephalic phase that prepares the digestive system to receive food. When our brain processes visual or olfactory information about food, it triggers impulses in the cranial nerves innervating the salivary glands and stomach to prepare for food.
43.0K
Analgesia and Pain Management
1.4K
Pain is critical to various clinical pathologies, provoking an urgent need for effective management. Pain, whether acute or chronic, is a complex neurochemical process. Its alleviation depends on the type, with nonopioid analgesics effective for mild to moderate pain, such as musculoskeletal or inflammatory pain, while neuropathic pain responds best to anticonvulsants, tricyclic antidepressants, or serotonin/norepinephrine reuptake inhibitors. For severe acute or chronic pain, opioids may be...
1.4K


