在腹腔镜胆囊切除术中通过基于蒸的自我监督和多重实例学习进行CVS评估

科学领域:

• 医学成像和人工智能 医学成像和人工智能
• 手术安全与分析

背景情况:

• 准确评估安全性批判性观点 (CVS) 是防止腹腔镜胆囊切除术 (LC) 期间胆道损伤至关重要的.
• 当前的自动化方法通常需要昂贵的细分注释,并与时间空间理解作斗争,限制了它们的现实应用.
• 需要为自动化CVS评估提供高效和强大的框架,以克服这些局限性.

研究的目的:

• 开发一个有效的框架,用于LC中自动化CVS评估,消除对细分注释的需求.
• 为了提高模型的稳定性和改善时空理解,以便更好地进行外科安全分析.
• 为无标签的自动化CVS评估建立一个新的基准.

主要方法:

• 引入SMIL框架,结合基于蒸的自我监督预培训和多重实例学习 (MIL).
• 预训练了一台视频变压器,使用无标签的自蒸来提取时空特征.
• 该框架使用MIL进行了微调,将Endoscapes2023数据集上的多标签CVS分类的全球和本地表示集成在一起.

主要成果:

• 与最先进的方法相比,SMIL框架在没有细分标签的Endoscapes2023数据集上表现优越.
• 与最强的无标签基线相比,SMIL取得了显著的改进,平均平均精度 (mAP) 提高了3.21%,平衡精度提高了2.74%.
• 值得注意的是,SMIL在mAP中甚至超过了细分监督模型,突出了其高效的学习能力.

结论:

• SMIL框架为自动化CVS评估提供了有效的解决方案,而不需要分段注释或顺序输入.
• 通过整合自我监督学习和MIL,SMIL在LC手术的背景下增强了时空理解和概括.
• 该框架提供了重要的理论见解和实际价值,用于提高手术安全性和预防胆道损伤.