群众注意力:以注意力为基础的框架,用于在医疗场景中分类众包数据

科学领域:

• 人工智能的人工智能
• 机器学习 机器学习
• 数据科学数据科学数据科学

背景情况:

• 监督学习依赖于高质量的标记数据,这是昂贵和耗时的.
• 众包提供了一个可扩展的解决方案,但由于非专家注释员的变化,引入了标签噪音.
• 现有的多注释器学习方法很难有效地解决这种固有的噪音.

研究的目的:

• 提出CrowdAttention,这是一个新的深度学习框架,用于使用杂的众包标签进行强大的分类.
• 在单一端到端架构中共同建模数据分类和注释器可靠性.
• 提高在异质,非专家注释上训练的模型的准确性和稳定性.

主要方法:

• 开发了一个端到端的深度学习框架CrowdAttention,集成分类和注释器可靠性建模.
• 利用交叉注意力机制将两个网络结合起来:一个用于分类,一个用于注释器可靠性评分.
• 群众网络根据注释器标签与模型预测的对齐来分配依赖实例的可靠性得分.

主要成果:

• 在合成和现实世界数据集上都证明了更好的分类准确性.
• 与现有的最先进的方法相比,显示了对标签噪声的增强强性.
• 验证了联合建模分类和注释器可靠性的有效性.

结论:

• CrowdAttention提供了一种有效的解决方案,可以利用众包数据,尽管有标签噪音.
• 拟议的交叉注意力机制成功模拟了注释器的可靠性,从而带来了卓越的性能.
• 这一框架为依赖非专家注释的领域的监督学习提供了显著的进步.