自动FLS认证的人工智能:突出并解决当前的局限性

科学领域:

• 医学教育
• 在手术中使用人工智能
• 手术技能的评估

背景情况:

• 人工智能 (AI) 提供了在外科培训中自动化技术技能评估的潜力.
• 通过人工智能驱动的拉皮眼手术基础 (FLS) 认证可以提高一致性并降低监督成本.
• 现有的人工智能研究缺乏高风险评估的可靠性,因为验证和建模有限.

研究的目的:

• 开发和验证一种基于人工智能的新系统,用于使用视频记录来评估FLS接转移任务.
• 通过先进的后处理技术提高人工智能模型的可靠性和准确性.
• 建立用于测量人工智能系统复制人类专家评估的能力的新指标.

主要方法:

• 一种新的AI方法分析视频以跟踪对象状态并对FLS转移任务中的手术行为进行分类.
• 多个人工智能模型产生预测,通过两种后处理技术进行时间一致性和任务准确性.
• 引入了"传输精度"和"传输回忆"指标,以评估人工智能对检查级评估的复制性.

主要成果:

• 单个人工智能模型在状态预测方面取得了高准确度 (>99%),在动作识别方面表现良好 (f1分数>78%).
• 没有后处理,转移精度和回忆率较低 (22.86%和55.56%).
• 随着拟议的后处理,转移精度和回忆率显著提高到分别为80.44%和96.51%.

结论:

• 针对特定任务的验证和建模对于开发可靠的人工智能系统来说至关重要.
• 拟议的人工智能框架和指标为手术培训中可靠的人工智能评估工具提供了可通用的指导方针.
• 这种人工智能系统在模拟和真实外科环境中展示了强大的评估潜力.