在中国语言背景下对三个大型语言模型对堕胎后护理的响应表现的评估:比较分析
Danyue Xue1,2, Sha Liao1,2
1Department of Operating Room Nursing, West China second University Hospital, Sichuan University, Chengdu, Sichuan, People's Republic of China.
Risk management and healthcare policy
|August 27, 2025
概括
三个大型语言模型 (LLM) 在回答中产后护理问题方面表现出强的表现. 虽然它们通常是准确和相关的,但它们的可靠性需要改进,以加强患者的咨询.
科学领域:
- 医疗保健中的人工智能
- 医疗信息的自然语言处理
- 生殖健康技术
背景情况:
- 评估像大型语言模型 (LLM) 这样的先进人工智能工具的能力对于其安全有效地融入医疗保健至关重要.
- 对于寻求生殖健康支持的个人来说,堕胎后护理 (PAC) 信息需要准确,可访问和可靠.
- 在提供健康信息时使用LLM,特别是在PAC等敏感领域,需要仔细评估其响应质量.
研究的目的:
- 评估三个著名的LLM (ChatGPT,Kimi,Ernie Bot) 在回应中文关于堕胎后护理 (PAC) 的询问方面的表现.
- 评估人工流产后LLM产生的关于避孕的反应的准确性,相关性,完整性,清晰性和可靠性.
- 确定评估的LLM中响应质量的潜在差异,并在PAC商中为其未来的应用提供信息.
主要方法:
- 关于堕胎后避孕的20个不同的问题,每个人都用中文向ChatGPT,Kimi和Ernie Bot提出了三次.
- 三位PAC顾问使用利克尔特等级来评估答复的准确性,相关性,完整性,清晰性和可靠性.
- 进行了统计分析,以比较三个LLM的整体绩效和具体标准得分.
主要成果:
- 总的来说,88.30%的LLM回复被评为"好",在模型的整体评价中没有显著差异 (P=0.352).
- 相关性 (85.53%),完整性 (75.57%) 和清晰度 (73.87%) 均获得高分,但准确性 (48.33%) 和可靠性 (71.10%) 仍有改进空间.
- 在LLM的答案可靠性中发现了统计学上显著的差异 (P < 0.001),表明可信度的变化.
结论:
- 由于其在准确性,相关性和完整性方面表现良好,评估的LLM显示了支持PAC商的巨大潜力.
- 需要持续培训和严格的评估来提高LLM产生的PAC信息的准确性和可靠性.
- 进一步的研究应该集中在优化LLM响应,以确保在敏感的医疗保健环境中提供一致和可靠的信息.
