在外科视频中进行联合仪器分割的空间时间表示解和增强

科学领域:

• 计算机视觉 计算机视觉
• 机器学习 机器学习
• 医疗成像医学成像

背景情况:

• 联合学习 (FL) 能够在多个网站上进行协作模式培训,而无需数据集中.
• 在外科数据科学中存在有限的FL研究,现有的方法忽略了外科领域的特点,如各种背景和仪器相似性.
• 手术模拟器提供高效的大规模合成数据生成.

研究的目的:

• 提出一个新的个性化FL方案,FedST,利用外科领域的知识来增强仪器细分.
• 应对不同解剖学背景的挑战,并在联合的外科设置中保持一致的仪器表现.
• 改进模型的概括性和适应不同手术部位.

主要方法:

• 对于本地培训,FedST使用了代表分离与合作 (RSC) 机制,解开了私人背景编码.
• 全球培训优化了一致的仪器表示,包括运动模式的时间层.
• 文本引导的频道选择可以增强网站特定特征的适应性.
• 基于合成的显式表示量化 (SERQ) 使用合成数据进行同步的全球模型融合.

主要成果:

• 与最先进的方法相比,FedST在联合站点上实现了卓越的性能,改善了IoU的1.84%.
• 在联邦以外的网站上表现出显著的改善,IOU增加了45.29%.
• 创建了一个新的PFL基准,包括五个手术部位和四个数据类型.

结论:

• 拟议的FedST方案有效地提高了使用个性化联合学习的手术仪器细分.
• FedST表现出强大的泛化能力,能够很好地适应未见的手术场所和各种条件.
• 这项工作为外科数据科学中的FL提供了宝贵的贡献,有可能用于现实世界的临床应用.