自动和实时的外科医生从手术视频中使用机器学习和数学算法来检测外科医生的凝视点

科学领域:

• 医疗人工智能 医疗人工智能
• 手术技术 手术技术
• 计算机视觉在外科手术中的应用

背景情况:

• 人工智能 (AI) 越来越多地用于手术内成像.
• 外科医生的视角对于识别手术部位和为AI提供数据至关重要.
• 当前的人工智能应用需要精确识别外科医生的重点.

研究的目的:

• 开发一种机器学习系统,使用手术视频数据自动检测外科医生的视角.
• 为了验证系统在不同手术过程中的性能.
• 评估凝视点检测在人工智能辅助手术中的潜在实用性.

主要方法:

• 在视频上使用深度学习模型检测手术仪器.
• 凝视点是通过基于仪表轴和交叉点的数学算法来计算的.
• 时间平均值被用于实时分析稳定性,并对胰腺双管切除术,扩展胆囊切除术和远端胰腺切除术病例进行了验证.

主要成果:

• 手术仪器检测实现了AP50的60.5%.
• 凝视点检测准确度达到82.7%和93.9%在特定的像素半径内,用于胰腺双管切除术.
• 该系统在其他程序中表现出类似的性能 (85.5%的精度在324像素半径内),时间平均化改善了结果.

结论:

• 开发的系统成功地检测了外科医生在多个手术过程中的凝视点.
• 这项技术有可能集成到未来的AI辅助手术系统中.
• 精确的凝视点检测是朝着更复杂的AI手术工具迈出的关键一步.