标准和协议:评估在感知EULAR 2019年狼分类中的生成人工智能的有效性

科学领域:

• 临床信息学 临床信息学
• 医疗保健中的人工智能
• 类风湿病学 类风湿病学

背景情况:

• 电子健康记录 (EHR) 和传统医疗记录 (MR) 在高效的数据处理方面存在挑战.
• 过度文档的信息过载阻碍了临床工作流程.
• 生成性AI (genAI) 提供了自动化MR总结和表征的潜力.

研究的目的:

• 评估两通的genAI策略对系统性红斑狼 (SLE) 的分类的有效性.
• 通过EULAR 2019标准评估genAI在区分SLE,不分化的结缔组织疾病 (UCTD) 和非SLE病例方面的表现.
• 在评估特定的SLE诊断标准时分析genAI的性能指标.

主要方法:

• 78个个人的医疗记录 (MR) 的数字化.
• 实施使用Claude 3.5 LLM的双通生成AI (genAI) 评估.
• 应用22个标准的EULAR 2019模型来对SLE进行分类.

主要成果:

• 抗核抗体 (ANA) 标准显示SLE负性的高灵敏度 (0.78) 和PPV (0.85),但边际特异性 (0.60).
• 通过21个标准的平均值,genAI对SLE阳性呈现出高特异性 (0.54),但倾向于将阳性结果错误分类为UCTD.
• GenAI表现出自信的SLE负面评估 (高灵敏度),但积极性评估较弱.

结论:

• 基因AI为SLE消极性提供了自信的评估,但对积极性不那么可靠.
• 人工智能的特异性支持自信的SLE阳性断言,但可能导致错误地将临床阳性归类为UCTD.
• 为了准确的SLE分类,需要进一步完善genAI模型,特别是区分SLE和UCTD.