职业医学中的ChatGPT:与人类专家进行的比较研究

科学领域:

• 医疗信息学 医疗信息学
• 职业健康 职业健康 职业健康
• 人工智能的人工智能

背景情况:

• 人工智能 (AI) 融入医疗保健,特别是在职业健康医学等专业领域,既带来了机遇,也带来了挑战.
• 评估人工智能工具的准确性和可靠性,如ChatGPT,对于了解它们对医疗实践和决策的潜在影响至关重要.

研究的目的:

• 评估ChatGPT在响应复杂的职业健康医学查询时的准确性和可靠性.
• 探索人工智能在职业健康医学领域的影响和局限性.
• 为未来的研究提供建议,并向利益相关者介绍AI在医疗保健中的作用.

主要方法:

• 一个基于意大利法律的职业医学问题和答案数据集由一组医生小组开发.
• 聊天GPT为这些问题提供了答案,无论是在立法背景下还是没有立法背景.
• 医生分为两个团队,盲目评估人类生成和人工智能生成的答案,每个团队审查对方的工作.

主要成果:

• 与ChatGPT相比,职业医生在制定准确的问题方面表现出更好的表现,该表现基于基于5分利克尔特等级的ChatGPT.
• 当ChatGPT的答案与立法背景相结合时,其质量与专业医生的答案相提并论.
• 尽管准确度相似,但观察到用户明显偏好人类生成的答案,这突显了对专业医疗专业知识的持续价值.

结论:

• 像ChatGPT这样的AI工具在特定情况下提供准确的医疗信息方面表现有希望,例如职业健康立法.
• 人类监督和专业判断仍然至关重要,因为用户更喜欢从职业医学专业人员那里得到答案.
• 需要进一步的研究,以充分理解和优化人工智能在职业健康医学中的作用,平衡技术能力与人类专业知识.