对提供性健康信息的人工智能 (AI) 聊天机器人的评估:使用真实世界的临床查询进行的一致研究

科学领域:

• 人工智能的人工智能
• 性健康 性的健康
• 医疗保健技术 技术 医疗保健 技术

背景情况:

• 人工智能聊天机器人有可能为公众提供有关性健康等敏感话题的信息.
• 不同的人工智能聊天机器人和护士在性健康方面的比较表现仍未得到充分研究.

研究的目的:

• 评估三个人工智能聊天机器人 (Alice,Azure,ChatGPT) 在提供性健康信息方面的表现.
• 将AI聊天机器人的性能与专家护士回答性健康问题的能力进行比较.

主要方法:

• 分析了195个匿名的性健康问题.
• 专家小组使用共识对AI聊天机器人和护士响应的评估.
• 基于正确性,指导性,准确性,安全性,易于访问性和信息提供性的评估.

主要成果:

• 快速调整的聊天机器人 (Alice,Azure) 在正确性方面超过了标准的ChatGPT.
• 爱丽丝显示了最高的整体正确性 (85.2%),其次是Azure (69.3%) 和ChatGPT (64.8%).
• 所有的聊天机器人在安全方面表现良好,而Azure的安全评分最高 (97.9%).

结论:

• 与基础ChatGPT相比,即时调整的AI聊天机器人在提供性健康信息方面表现优越,安全性更高.
• 人工智能聊天机器人显示出作为医疗保健提供者的辅助工具的潜力,但由于易受错误的影响,需要改进和人类监督.
• 未来的研究应该专注于大规模的评估和在性健康中应用人工智能的现实应用.