微调的临床BERT模型的端到端伪化:维护隐私并保持数据实用性的保护

科学领域:

• 自然语言处理自然语言处理.
• 机器学习 机器学习
• 临床信息学 临床信息学

背景情况:

• 最先进的自然语言处理 (NLP) 依赖于大型预训练语言模型 (PLM),这些语言模型在庞大的数据集上进行训练.
• PLM可以记住训练数据,造成隐私风险,特别是敏感的临床信息.
• 伪名化是一种保护隐私的技术,它用现实的替代品取代敏感数据.

研究的目的:

• 评估端到端假名化对瑞典临床BERT模型预测性能的影响.
• 评估用于临床NLP任务的预训练和微调数据的假名化.
• 为了确定隐私风险是否可以在不牺牲数据实用性的情况下减轻隐私风险.

主要方法:

• 适用于瑞典临床BERT模型的预培训和微调数据集的假名化.
• 针对五个不同的临床NLP任务进行微调模型.
• 进行了广泛的统计测试,以评估预测性绩效变化.

主要成果:

• 伪称微调数据对模型性能产生了最小的负面影响.
• 端到端的假名化 (预训练和微调数据) 没有显示出性能恶化.
• 该研究表明,在临床PLM中隐私保护的伪名化可行性.

结论:

• 伪名化是提高临床NLP数据隐私的有效策略.
• 这种技术可以在整个PLM培训管道中应用,而不会造成显著的性能损失.
• 临床NLP模型可以使用假名化数据进行训练,平衡隐私和实用性.