适应差异隐私机制,以增强深度学习模型的实用性和隐私
Zhang Xiangfei1, Zhang Qingchen2
1School of Cyberspace Security, Hainan University, Haikou, 570228, China.
概括
本研究引入了深度学习的自适应差异隐私 (DP) 方法,通过在培训期间动态调整灵敏度和预算分配来提高模型性能和隐私保护.
科学领域:
- 人工智能的人工智能
- 机器学习 机器学习
- 数据 隐私 数据 隐私 数据
背景情况:
- 深度学习模型风险训练数据隐私泄露.
- 与SGD的差异隐私 (DP) 用于隐私保证.
- 目前的DP方法使用恒定梯度剪切,影响性能并需要调整.
研究的目的:
- 提出一种新的深度学习策略,采用自适应DP机制.
- 为了实现适应性敏感性和适应性隐私预算分配.
- 改善模型实用性和隐私保护之间的权衡.
主要方法:
- 集群平均批量梯度以适应地分配隐私预算.
- 将梯度剪切参数与适应式剪切的学习速率相结合.
- 严格的理论隐私分析以确保DP的合规性.
主要成果:
- 拟议的自适应DP方法严格满足DP保证.
- 在视觉任务中优于最先进的方法.
- 避免了用于梯度剪切的手动超参数调整.
结论:
- 适应式DP在深度学习中提供了增强的隐私和实用性.
- 这种新的策略有效地管理了隐私和预算之间的权衡.
- 在主流视觉任务中表现出卓越的性能.
