现实世界联合学习与心脏CT成像的知识蒸变压器

科学领域:

• 医疗成像医学成像
• 人工智能的人工智能
• 联邦学习学习 (Federated Learning) 是一种学习方式.

背景情况:

• 联合学习 (FL) 能够实现分散的数据分析,同时保持隐私.
• 现实世界FL应用程序与部分标记的数据集扎,使未标记的数据未得到充分利用.
• 利用未标记的数据可以增强变压器模型,特别是具有有限和多样化的注释.

研究的目的:

• 开发和评估心脏CT分析的半监督联合学习策略.
• 通过在多个机构中使用部分标记数据来提高变压器架构的性能.
• 为了进行迄今为止最大的联合心脏CT分析.

主要方法:

• 采用了两步半监督策略,从卷积神经网络 (CNN) 提炼知识到变压器架构.
• CNNs在未标记的数据上预测了标签,变压器使用标签特定的头从这些预测中学习.
• 这项研究涉及8104个心脏CT扫描在八家医院在现实世界中设置.

主要成果:

• 拟议的方法通过有效利用未标记的数据,提高了预测准确度.
• 在整个联合网络中实现了所有部分标签的同时学习.
• 与基于UNet的模型相比,基于变压器的方法在下游任务上表现出更好的通用性.

结论:

• 开发的半监督联合学习策略成功地利用未标记的数据来提高心脏CT分析中的变压器性能.
• 这种方法解决了在现实世界联合设置中部分标记数据集的挑战.
• 开放的代码和模型权重旨在促进心脏CT分析的未来进展.