未来的自主患者互联网研究:基于大型语言模型的工具与标准搜索引擎相比

科学领域:

• 医疗保健中的人工智能
• 医疗信息学 医疗信息学
• 患者教育 患者教育

背景情况:

• 一般的大型语言模型 (LLM) 对于患者来说越来越容易获得.
• 患者可以使用LLMs作为寻找健康信息的传统搜索引擎的替代品.
• 评估LLM产生的健康信息的质量至关重要.

研究的目的:

• 评估公开可用的基于LLM的聊天机器人是否适合患者教育.
• 为了比较谷歌,巴德,GPT-3.5和GPT-4对常见慢性健康查询的响应.
• 为了评估医生评估的准确性,全面性和质量LLM的反应.

主要方法:

• 选择了五种常见的慢性健康状况 (高血压,高脂血症,糖尿病,焦虑,情绪障碍).
• 医生委员会认证的专家审查了来自谷歌,巴德,GPT-3.5和GPT-4的回复.
• 答案以五分利克特级别对准确性,全面性和质量进行评分.
• 使用弗莱什-金凯德等级等级来评估可读性.

主要成果:

• 与巴德和谷歌相比,GPT-3.5和GPT-4在综合性和质量方面获得了明显更高的评分 (p < 0.05).
• 巴德和谷歌提供了更易于阅读的答案,平均弗莱什-金凯德等级水平较低.
• 谷歌的搜索结果在准确性,全面性和质量方面被评为明显较低.

结论:

• 基于LLM的公开可用的工具显示了提供比谷歌搜索更准确的慢性病患者信息的潜力.
• 对于与健康相关的查询,LLM可以作为传统搜索引擎的有价值的替代品.
• 对LLMs在患者教育中的临床应用进行进一步研究是有必要的.