大型语言模型的比较分析,用韩语回答与癌症有关的问题.
Hyun Chang1, Jin-Woo Jung2, Yongho Kim3
1Department of Medical Oncology and Hematology, International St. Mary's Hospital, Catholic Kwandong University, Incheon, Korea. hchang@ish.ac.kr.
这项研究对韩国癌症问题的ChatGPT和CLOVA X进行了比较. 两种大型语言模型 (LLM) 都提供了类似的质量答案,CLOVA X显示了稍微更好的可读性.
科学领域:
- 医疗信息学 医疗信息学
- 医疗保健中的人工智能
- 在瘤学瘤学.
背景情况:
- 大型语言模型 (LLM) 在医疗保健应用中表现有希望,例如患者教育和临床决策支持.
- 在提供准确的医疗信息,特别是非英语语言的LLMs的有效性需要进一步的研究.
研究的目的:
- 为了比较来自ChatGPT和Naver的CLOVA X对韩国癌症相关查询的响应质量.
- 评估这两个领先的韩国LLM产生的答案的可读性.
主要方法:
- 与癌症相关的问题来源于知名的癌症信息网站.
- 三位瘤学家使用全球质量评分 (GQS) 评估了ChatGPT和CLOVA X的反应.
- 使用KReaD评估可读性,KReaD是一种用于韩国文本复杂性的AI工具.
主要成果:
- 在ChatGPT和CLOVA X的总体质量 (GQS) 中没有发现统计学上显著的差异 (p>0.05).
- 与ChatGPT相比,CLOVA X获得了更高的可读性得分 (KReaD) (p=0.036),尽管感知到的阅读容易度没有显著差异.
- 这两种模型在"好"和"差"评级方面表现相似.
结论:
- 在回答韩国癌症相关问题时,ChatGPT和CLOVA X的整体质量相当.
- 虽然根据AI评估,CLOVA X可能稍微易于阅读,但这两种LLM都是提供韩语癌症信息的可行工具.
更多相关视频
05:47Evidence-based Knowledge Synthesis and Hypothesis Validation: Navigating Biomedical Knowledge Bases via Explainable AI and Agentic Systems
Published on: June 13, 2025
07:13Comparison of Predictive Performance of Three Lymph Node Staging Systems in Colorectal Signet Ring Cell Carcinoma Based on Machine Learning Model
Published on: April 18, 2025
相关概念视频
Cancer Survival Analysis
Mouse Models of Cancer Study
The development of transgenic, knockout, and knock-in mice has led to an exponential increase in their use as model organisms in research,...
Comparing the Survival Analysis of Two or More Groups
Combination Therapies and Personalized Medicine
The combination of the drug acetazolamide and sulforaphane is a good example of combination therapy to treat cancer. The cells in the interior of a large tumor often die due to the hypoxic and...
