心脏病学三大语言模型的科学知识:多项选择题基于考试的绩效测试

科学领域:

• 人工智能在医学中的应用
• 心脏病学教育 心脏病学教育
• 自然语言处理自然语言处理.

背景情况:

• 人工智能聊天机器人的快速集成 (例如,ChatGPT,Bard,Bing Chatbot) 进入学术和专业领域,包括心脏病学.
• 人工智能聊天机器人在心脏病学等专业医疗领域的有效性和准确性存在担忧.
• 需要评估AI聊天机器人在教育和研究环境中的表现.

研究的目的:

• 评估心脏病领域领先的人工智能聊天机器人的知识深度和准确性.
• 为了比较谷歌Bard,微软Bing Chatbot和ChatGPT 4.0在心脏病方面的表现.
• 用多选题评估AI聊天机器人在各种心脏病学子话题中的熟练程度.

主要方法:

• 一项在2023年11月进行的探索性,横截面研究.
• 利用来自权威教科书和问题库的100个心脏病多选题 (MCQ) 的银行.
• 在Google Bard,微软Bing Chatbot和ChatGPT 4.0中手动输入每一个MCQ,以评估他们的知识而不存在内存偏差.

主要成果:

• 聊天GPT 4.0实现了最高准确率87%,其次是Bing聊天机器人 (60%) 和Bard (46%).
• 在不同心脏病学子主题中,表现有显著差异,ChatGPT始终优于其他主题.
• 在特定的心脏病学领域内,AI聊天机器人之间的熟练程度有显著的差异.

结论:

• 人工智能聊天机器人在传播心脏病知识方面表现出广泛的有效性.
• 聊天GPT 4.0显示了作为心脏病学辅助教育资源的潜力.
• 人工智能聊天机器人的性能变化需要仔细评估和持续改进,以提高医疗知识的可靠性.