人工智能聊天机器人对常见的关节疾病 (TMD) 患者查询的性能:准确性,完整性,可靠性和可读性

科学领域:

• 医疗保健中的人工智能
• 医疗信息检索 医疗信息检索
• 自然语言处理自然语言处理.

背景情况:

• 关节疾病 (TMDs) 是影响关节功能的普遍情况.
• 准确可靠的信息对于患者了解和管理TMD至关重要.
• 人工智能语言模型的出现需要评估它们对医学信息传播的有用性.

研究的目的:

• 评估关于TMDs的ChatGPT-3.5,ChatGPT-4o和谷歌双子座的回复的准确性,完整性,可靠性和可读性.
• 为了比较不同的AI模型在回答复杂的医疗查询时的性能.
• 确定人工智能生成的医疗信息的优点和局限性.

主要方法:

• 对ChatGPT-3.5,ChatGPT-4o和Google Gemini提出了45个专家生成的TMD相关问题.
• 通过使用修改后的利克特等级来评估答案的准确性,完整性和可靠性.
• 使用六个经过验证的索引来评估可读性;还分析了参考文献和多媒体等附加功能.

主要成果:

• 谷歌Gemini显示了最高的准确性 (100%),其次是ChatGPT-3.5 (95.6%) 和ChatGPT-4o (93.3%).
• 聊天GPT-4o提供了最完整的响应 (91.1%),而谷歌双子有一个最低的 (42.2%).
• ChatGPT-4o显示出最高可靠性 (93.3%),ChatGPT-4o和Google Gemini都包括引用和保障声明,尽管没有基于证据的引用.

结论:

• 谷歌双子和ChatGPT-4o为TMD查询提供准确可靠的信息,ChatGPT-4o在完整性和可靠性方面表现出色.
• 虽然人工智能模型提供了可访问的信息,但它们目前缺乏强有力的基于证据的引用.
• 需要进一步发展,以提高完整性,并确保将可验证的来源纳入人工智能生成的医疗内容.