概述
它减少了原始数据的移动，但除非设计并评估了额外的保护措施，否则更新仍可能泄露信息。
深入探讨
在常规训练中，所有数据都汇集在中央服务器上。联邦学习则反其道而行之：将一个全局模型发送给参与者（手机、医院、银行），每个参与者在自己的数据上进行本地训练，仅将产生的权重变化发送回服务器。服务器将这些更新平均化为一个改进的全局模型，并重复此过程。Google 的研究人员研究了联邦移动键盘预测，使用了本地训练而不将训练记录导出到服务器。这种方法在数据是私有的、受监管的或太大而无法移动的情况下表现出色，例如分布在各家医院的医疗记录。挑战包括不可靠的设备、参与者之间差异巨大的数据（非独立同分布数据），以及原始更新仍可能泄露信息的事实，这就是为什么它需要与隐私技术相结合的原因。
现实世界的实施
Google 的研究人员研究了移动键盘的联邦下一词预测，使用了本地训练和聚合模型更新。
一个假设的医院合作项目在评估模型更新及其隐私风险的同时，将影像记录保留在各自的机构中。
一项欺诈研究合作将联邦训练与集中式基准进行了比较，并未假设仅靠去中心化就能满足所有隐私要求。
一个团队应用了安全聚合，以便服务器接收组合后的更新，而不是每个参与者的个人更新。
联邦学习的未来
联合学习正在从键盘转向医疗保健、金融和物联网领域的跨组织使用，而 HIPAA 和 GDPR 等法规使得数据共享变得困难。预计与差分隐私和安全聚合的更紧密集成，以及 TensorFlow Federated、Flower 和 NVIDIA FLARE 等成熟的生产框架。大型语言模型的联合微调是一个不断发展的前沿领域，让组织可以共同改进机密文本的模型。更好地处理分布不均和不可靠的参与者仍然是研究的关键。
付诸实践
为什么这很重要
- 成本与预算. 多年来，架构决策决定着性能和运营成本。
- 更清晰的判决. 技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
- 质量控制. 更好的工程选择可以减少生产中的可靠性事故。
留意
- 优化一项基准测试可以隐藏更广泛的系统弱点。
- 基础设施和维护成本常常被低估。
- 随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
后续步骤
- 在实施之前定义延迟、质量和成本目标。
- 在实际负载和数据条件下进行基准测试。
- 仪器监控错误、漂移和用户影响。
- 在扩展之前准备回滚和事件响应路径。
不断探索
常见问题
什么是联邦学习？
联邦学习通过参与者的本地计算和聚合更新来训练共享模型，同时保持其训练记录的去中心化。它减少了原始数据的移动，但除非设计并评估了额外的保护措施，否则更新仍可能泄露信息。
联邦学习如何在不集中用户数据的情况下训练共享模型？
联邦学习将原始数据保存在本地；每个参与者都使用自己的数据进行训练，并仅发送服务器组合的模型更新。
联合平均 (FedAvg) 算法在服务器上有什么作用？
FedAvg 将客户本地训练的权重合并到一个改进的全局模型中，通常根据每个客户使用的数据量对其进行加权。
哪个产品以使用联邦学习来改进预测而闻名？
Google 的研究人员研究了使用本地设备训练和聚合模型更新的联邦移动键盘下一词预测。
为什么医院合作项目可能会研究联邦训练？
将记录保留在参与站点可以减少原始数据的移动。隐私、安全和其他要求仍需要单独评估。
为什么仅模型更新不会自动完全私有？
梯度和权重变化可以揭示有关训练示例的详细信息，这就是添加安全聚合和差分隐私的原因。