对人工智能机器翻译工具进行系统的多式评估,以提高国际上获得重症监护教育的机会
Christine L Chen1, Yue Dong2, Claudia Castillo-Zambrano3
1Division of Internal Medicine, Mayo Clinic, 200 First St. SW, Rochester, MN, 55905, USA. Chen.Christine@mayo.edu.
BMC medical education
|July 8, 2025
概括
机器翻译 (MT) 工具对重症监护教育有希望,但在不同语言的有效性上有所不同. 多模式评估对于选择国际教育计划中最佳的MT工具至关重要.
科学领域:
- 医学教育 医学教育
- 医疗保健中的人工智能
- 全球健康 全球健康
背景情况:
- 语言障碍阻碍了全球获得重症监护教育的机会.
- 机器翻译 (MT) 技术,包括人工智能和大型语言模型,提供了潜在的解决方案.
- 在这种情况下,缺乏对MT的系统评估方法.
研究的目的:
- 开发和应用一种多式联络方法来评估在重症监护教育中的MT工具.
- 为了比较四个领先的MT工具 (DeepL,Google Gemini,Google Translate,Microsoft CoPilot) 在中文,西班牙语和乌克兰语的性能.
- 为国际医学教育工作者评估翻译质量和可用性.
主要方法:
- 使用四个MT工具和一个专业的人类翻译员翻译了重症监护内容.
- 进行了盲目的双语临床医生评估 (流利性,充分性,意义).
- 使用自动化双语评估研究 (BLEU) 评分和系统可用性尺度.
主要成果:
- 人类翻译对中文的评分最高;西班牙语的Google Gemini;乌克兰语的微软CoPilot.
- 根据语言和指标,MT工具的性能差异很大.
- 蓝色分数表明中文和西班牙语的质量很好,但在乌克兰语方面遇到了困难,除了微软的CoPilot.
结论:
- 没有一个单一的MT工具在所有语言和评估指标中脱而出.
- 常规评估MT工具对于国际教育倡议至关重要.
- 建议采用多模式评估方法来指导教育工作者选择合适的MT工具.
