对大型语言模型进行比较评估,以将放射学报告翻译成印度语
Amit Gupta1, Ashish Rastogi1, Hema Malhotra1
1Department of Radiology, Dr. Bhim Rao Ambedkar Institute-Rotary Cancer Hospital, All India Institute of Medical Sciences, New Delhi.
The Indian journal of radiology & imaging
|December 19, 2024
概括
评估了四种大型语言模型 (LLM),用于将放射学报告翻译成印度语. GPT-4o和Gemini表现出强的表现,结果因提示而有所不同,表明LLM在简化医疗信息方面的潜力.
科学领域:
- 医学成像和人工智能 医学成像和人工智能
- 医疗保健中的自然语言处理.
- 放射学报告翻译 放射学报告翻译
背景情况:
- 放射学报告包含复杂的医疗信息.
- 准确的翻译对于患者的理解和护理至关重要.
- 大型语言模型 (LLM) 提供了简化医学文本的潜力.
研究的目的:
- 为了比较四位领先的LLM (GPT-4o,GPT-4,Gemini,Claude Opus) 在将放射学报告印象翻译成简单的印度语方面的表现.
- 评估LLM生成的印度语翻译的准确性和质量.
- 评估不同提示对翻译性能的影响.
主要方法:
- 对100个CT扫描的回顾性分析报告了来自癌症中心的印象.
- 由双语放射科工作人员和放射科医生创建的参考翻译.
- 用于测试LLM翻译能力的两个不同的提示.
- 放射科医生审查误解,遗漏和补充.
- 使用BLEU,METEOR,TER和CHRF分数进行定量评估.
主要成果:
- 总体而言,在800个LLM翻译中,发现了很少的错误 (9个误解,2个遗漏).
- 双子座在多个指标 (BLEU,METEOR,TER,CHRF) 中以Prompt 1表现出色.
- 在所有评估指标上,GPT-4o的表现超过了所有与Prompt 2的模型.
- 与Prompt 1相比,Prompt 2的翻译得分通常更高.
结论:
- 所有评估的LLM都显示出了将放射学报告翻译和简化为印度语的巨大潜力.
- 翻译质量受到特定的LLM和提示的措辞的影响.
- 进一步的研究可以优化LLM用于可访问的医疗通信.
更多相关视频
05:56Objectification of Tongue Diagnosis in Traditional Medicine, Data Analysis, and Study Application
Published on: April 14, 2023
2.4K
04:09Predicting Treatment Response to Image-Guided Therapies Using Machine Learning: An Example for Trans-Arterial Treatment of Hepatocellular Carcinoma
Published on: October 10, 2018
8.2K
相关概念视频
Improving Translational Accuracy
2.5K
2.5K
Leaky Scanning
5.1K
During most eukaryotic translation processes, the small 40S ribosome subunit scans an mRNA from its 5' end until it encounters the first start AUG codon. The large 60S ribosomal subunit then joins the smaller one to initiate protein synthesis. The location of the translation initiation is largely determined by the nucleotides near the start codon as there may be multiple translation initiation sites present on the mRNA. Marilyn Kozak discovered that the sequence RCCAUGG (where R...
5.1K
