提高对软组织肉瘤查询的回复的准确性和来源透明度,使用GPT-4o与德国基于证据的指南进行增强
Cheng-Peng Li1,2, Wei-Wei Jia2, Yuan Chu1
1Department of Surgery, Medical Faculty Mannheim, Mannheim School of Medicine, Heidelberg University, Mannheim, Germany.
Oncology research and treatment
|March 2, 2025
概括
检索增强生成 (RAG) 显著改善了GPT-4o.
科学领域:
- 人工智能在医学中的应用
- 自然语言处理自然语言处理.
- 在瘤学瘤学.
背景情况:
- 评估高级人工智能模型 (如GPT-4o) 在专业医疗领域的实用性.
- 评估AI在回答与软组织肉瘤 (STS) 相关的复杂查询方面的表现.
研究的目的:
- 评估GPT-4o的有效性,带有和没有提取增强生成 (RAG),以回答与软组织肉瘤 (STS) 相关的问题.
- 为了比较人工智能生成的响应的准确性,全面性和安全性.
主要方法:
- 使用了基于成人STS临床场景的20个问题数据集.
- 用RAG和没有RAG生成GPT-4o响应,并通过基于嵌入的检索系统结合德国S3指南.
- 两名瘤专家使用利克尔特尺度评估了反应质量,并进行了统计分析.
主要成果:
- 与单独使用GPT-4o相比,与RAG一起使用GPT-4o显示出更高的性能 (p <0.05).
- 通过RAG方法,将错误率从40%降至10%.
- 检索系统对90%的问题正确引用了相关信息页面.
结论:
- RAG显著提高了GPT-4o在处理STS查询方面的能力.
- 尽管GPT-4o与RAG有所改善,但在复杂的病例中仍可能产生错误,需要谨慎的临床使用.
- 人类的专业知识对于医疗决策至关重要,特别是在罕见疾病,如肉瘤.
