解码AI能力:在卵巢癌诊断和治疗中对大型语言模型 (LLM) 进行基准测试 - - 对生成AI准确性和完整性的系统评估
Haojie Cai1, Chao Wang1, Yue Zhang1
1Department of Gynecology, Shanghai Key Laboratory of Maternal Fetal Medicine, Shanghai Institute of Maternal-Fetal Medicine and Gynecologic Oncology, Shanghai First Maternity and Infant Hospital, School of Medicine, Tongji University, Shanghai 200092, China.
Diagnostics (Basel, Switzerland)
|February 27, 2026
概括
在解决卵巢癌诊断和治疗问题方面,DeepSeek-R1表现优于Doubao-1.5-pro,尽管这两种大型语言模型 (LLM) 需要进一步改进以获得临床应用.
科学领域:
- 人工智能在医学中的应用
- 在瘤学瘤学.
- 自然语言处理自然语言处理.
背景情况:
- 大型语言模型 (LLM) 越来越多地被用于医学应用.
- 在妇科瘤学等专业领域评估LLM能力至关重要.
- 卵巢癌的管理需要准确和及时的诊断和治疗信息.
研究的目的:
- 评估DeepSeek-R1和Doubao-1.5-pro在卵巢癌管理中的实际价值.
- 为了比较这两个法学士的诊断和治疗相关能力.
主要方法:
- 二十个关键的卵巢癌诊断和治疗问题被制定成问题.
- 两个LLM,DeepSeek-R1和Doubao-1.5-pro,回答了这些问题.
- 妇科瘤学专家在1-10的尺度上评估了LLM的完整性和准确性.
主要成果:
- 与Dubao-1.5-pro.相比,DeepSeek-R1获得了明显更高的"优秀"评分 (98比41) 和平均分数.
- 在所有评估领域中,DeepSeek-R1表现出卓越的性能,特别是在"医疗"方面.
- 统计测试证实了显著的差异,其中DeepSeek-R1的表现优于Doubao-1.5-pro.
结论:
- 在卵巢癌管理方面,DeepSeek-R1显示出前景,但表现出包括不准确和过时信息在内的局限性.
- 法律法规可以作为医学教育和辅助诊断的有价值的工具,但需要不断更新.
- 精心选择和改进LLM对于提高其临床实用性和准确性至关重要.
相关概念视频
Improving Translational Accuracy
15.3K
Base complementarity between the three base pairs of mRNA codon and the tRNA anticodon is not a failsafe mechanism. Inaccuracies can range from a single mismatch to no correct base pairing at all. The free energy difference between the correct and nearly correct base pairs can be as small as 3 kcal/ mol. With complementarity being the only proofreading step, the estimated error frequency would be one wrong amino acid in every 100 amino acids incorporated. However, error frequencies observed in...
15.3K
Improving Translational Accuracy
3.7K
3.7K


