评估大型语言模型 (ChatGPT) 在提供转移性乳腺癌信息方面的准确性

科学领域:

• 医疗信息学 医疗信息学
• 医疗保健中的人工智能
• 在瘤学瘤学.

背景情况:

• 人工智能 (AI),特别是像ChatGPT这样的大型语言模型 (LLM),在医学上显示出希望.
• 虽然人工智能已经通过了医疗许可证考试,但它对乳腺癌等特定疾病的实用性不太清楚.
• 乳腺癌信息的准确性对于患者的教育和支持至关重要.

研究的目的:

• 评估ChatGPT对常见乳腺癌问题的答案的准确性和全面性.
• 为乳腺癌患者识别人工智能产生的信息中的差距.
• 评估AI在提高乳腺癌患者教育和支持方面的潜在作用.

主要方法:

• 汇编了来自知名来源的100个乳腺癌常见问题.
• 在ChatGPT中输入问题并分析其响应.
• 通过专家审查和四分级评分,评估了响应的准确性和全面性.

主要成果:

• 在100个答案中,31个非常准确,42个准确但不全面.
• 22个答案部分准确,5个完全不准确.
• 大多数ChatGPT的乳腺癌信息至少部分准确.

结论:

• 聊天GPT显示承诺作为乳腺癌患者教育的补充工具.
• 存在不准确的情况强调了专业监督的必要性.
• 整合像ChatGPT这样的AI工具可以支持患者与提供者的互动,但需要定期更新.