点击像素认知融合网络,具有平衡切割,用于交互式图像分割

科学领域:

• 计算机视觉 计算机视觉
• 机器学习 机器学习

背景情况:

• 交互式图像细分 (IIS) 在医学和工业等领域至关重要.
• 现有的 IIS 方法在像素不平衡等核心问题上扎.
• 像素失衡源于像素数量和像素难度.

研究的目的:

• 提出一种新的统一网络,即点击像素认知融合与平衡切割 (CCF-BC),以解决 IIS 中的像素不平衡.
• 引入一个新的损失函数,平衡规范焦点损失 (BNFL),它优先考虑难以分割的像素.

主要方法:

• 开发了点击像素认知融合 (CCF) 模块,灵感来自人类认知,逐步融合点击和视觉信息.
• 拟议的平衡规范焦点损失 (BNFL) 是一种使用控制系数专注于正值和难以分割的像素的一般损失函数.
• 分析了BNFL,焦点损失和BCE损失之间的理论关系,表明它们是BNFL的特殊情况.

主要成果:

• 与最先进的方法相比,CCF-BC方法在五个基准数据集上显示出更高的性能.
• 通过将培训重点放在具有挑战性的样本上,BNFL损失函数有效地解决了像素失衡问题.
• CCF模块成功地将点击和视觉信息融合在一起,以改善细分.

结论:

• 拟议的CCF-BC网络有效地解决了交互式图像分割中的像素不平衡问题.
• BNFL损失函数提供了一种通用方法,用于处理细分任务中的样本不平衡.
• CCF-BC方法代表了交互式图像细分的重大进步,具有公开可用的可复制性代码.