人工智能聊天机器人在超声波检查上的表现:横截面比较分析
Yong Zhang1, Xiao Lu1, Yan Luo1
1Department of Medical Ultrasound, West China Hospital of Sichuan University, 37 Guoxue Alley, Chengdu, 610041, China, 86 18980605569.
JMIR medical informatics
|January 15, 2025
概括
ERNIE Bot在回答超声波医学问题方面通常优于ChatGPT,尽管性能因语言和问题类型而异. 了解这些人工智能聊天机器人的特点是最佳使用医疗查询的关键.
科学领域:
- 医学教育 医学教育
- 医学中的人工智能
- 诊断成像诊断成像的使用
背景情况:
- 人工智能聊天机器人越来越多地用于医疗查询,特别是超声波.
- 这些人工智能工具的性能因语言,问题格式和主题而异.
研究的目的:
- 评估和比较ChatGPT和ERNIE Bot在回答超声波医学检查问题上的表现.
- 为用户和开发人员提供有关AI聊天机器人在这个专业领域的能力的见解.
主要方法:
- 编辑了554个英语和中文超声医学检查问题的数据集.
- 客观问题被评估为准确性;主观问题被专家医生在利克尔特尺度上评分.
- 数据分析使用微软Excel进行.
主要成果:
- 与ChatGPT (P<.05) 相比,ERNIE Bot表现出更高的性能.
- 根据问题类型的准确性有所不同,真假问题表现最好,主观问题表现中等可接受性.
- 这两种模型在英语中表现不那么好,ERNIE Bot表现较小.
结论:
- 人工智能聊天机器人为超声波相关的查询提供了宝贵的帮助,但它们的有效性取决于模型,并受语言,问题类型和主题的影响.
- ERNIE Bot在这个领域通常超过了ChatGPT.
- 建议根据特定的问题特征和语言对AI模型进行知情选择,以优化聊天机器人的实用性.
