人工智能聊天机器人与YPUC儿科泌尿科医生:坎贝尔·沃尔什泌尿病学低度问卷上的表现

科学领域:

• 医疗信息学 医疗信息学
• 儿科泌尿外科 儿科泌尿外科
• 人工智能在医学中的应用

背景情况:

• 人工智能 (AI) 越来越多地融入医疗实践.
• 人工智能在高专业领域的表现仍然不确定,比如下病学.
• 评估人工智能的能力与人类专家对比,对于理解人工智能的作用至关重要.

研究的目的:

• 为了比较人工智能平台和儿科泌尿科医生的知识评估表现.
• 评估AI在低病率学方面的熟练程度,这是一个专门的子领域.
• 确定人工智能卓越的领域,以及人类专业知识不可或缺的领域.

主要方法:

• 对23名儿科泌尿科医生 (青年儿科泌尿科医生委员会成员) 和5个AI模型 (ChatGPT 3.5,ChatGPT 4o,Gemini,Copilot,Doubao) 进行了31个问题多选题问卷.
• 总体分析了绩效,按经验子组 (FEAPU认证,年龄大于35岁,自称专家),以及四个主题类别:基础知识,临床/准临床评估,初始管理和并发症.
• 进行了统计分析,以比较人工智能和人类受访者之间的分数,以及不同人类子组之间的分数.

主要成果:

• 整体表现在AI (67.7%) 和儿科泌尿科医生 (61.2%) 之间是可比的,尽管在统计上不显著 (p=0.467).
• 经验丰富的泌尿科医生表现明显优于经验较少的同行 (例如,FEAPU认证与非认证,p=0.001).
• 人工智能在"基础知识"",初始管理"和"并发症"方面表现强,但在"临床和准临床评估"方面表现明显不佳 (57%对71%,p=0.003).

结论:

• 人工智能平台的知识回忆能力与小儿泌尿科医生在下病学方面的知识回忆能力相当,但缺乏细微的临床推理能力.
• 人工智能可以作为一个有价值的教育支持工具.
• 专家人类判断仍然是复杂的决策在hypospadiology必不可少的,表明AI不能取代专家.