评估放射学中的横向性错误:比较生成人工智能和自然语言处理

科学领域:

• 放射学 放射学是一门学科.
• 人工智能的人工智能
• 医疗信息学 医疗信息学

背景情况:

• 放射学报告中的横向性错误可能导致误诊和伤害患者.
• 准确识别横向性对于诊断完整性至关重要.
• 当前的自然语言处理 (NLP) 工具在检测这些错误方面存在局限性.

研究的目的:

• 为了比较生成性AI (增强型变压器辅助放射学智能 - ATARI) 和NLP工具在识别放射学报告和图像中的横向性错误方面的性能.
• 评估这两种工具在区分真实报告错误和NLP检测到的假阳性结果方面的准确性.

主要方法:

• 一个NLP工具标记了放射学报告的潜在横向性错误.
• 一位放射学家验证了这些标志是真实报告错误或NLP假阳性.
• 将生成AI (ATARI) 应用于对准确性评估的真假阳性错误的报告子集.
• 在ATARI中使用了纯文本和组合文本和图像查询.

主要成果:

• 在898个NLP标记错误中,64%是NLP错误 (假阳性),36%是真实报告错误.
• ATARI的文本查询在识别没有横向不匹配 (NLP假阳性) 时获得了97.4%的准确性.
• 与ATARI结合的文本和图像查询在识别横向性错误时达到98.3%的准确性.

结论:

• 生成型人工智能 (ATARI) 在检测放射学中的横向性错误方面表现优于NLP.
• ATARI集成图像分析的能力提高了它在横向性确定方面的准确性.
• 对于复杂的报告,需要进一步改进ATARI的文本查询功能.