概述
Gumbel-Softmax 是一种让神经网络从离散类别中“采样”的技巧，同时仍然可以通过梯度下降进行训练。这很重要，因为反向传播通常不能通过随机、离散的选择。
Gumbel-Softmax 和重新参数化是一个技术构建块，会大规模影响模型质量、基础设施成本、延迟和可靠性。
深入探讨
神经网络通过每次操作向后发送梯度来学习。但是对离散类别进行采样（例如选择 50,000 个单词中的#7）是一个艰难的、不可微分的跳跃，因此梯度会在那里消失。重新参数化技巧重写了随机采样，因此随机性来自固定的外部噪声源，为梯度留下平滑、可微的路径。 Gumbel-Softmax 将此应用于分类变量：它将 Gumbel 分布噪声添加到 logits，然后用温度控制的 softmax 替换硬 argmax。在高温下，输出是类别上的平滑斑点；当温度降至零时，它会锐化为接近单热向量，恢复真实采样，同时始终保持可微分。
技术洞察
Gumbel-Max 技巧是这样说的：向每个 logit 添加独立的 Gumbel(0,1) 噪声并采用 argmax 从 softmax 分布中产生精确的样本。 Gumbel-Softmax 将hard argmax 替换为softmax((log p + g)/tau)。温度 tau 在平滑的高熵分布（大 tau）和近乎离散的单热分布（小 tau）之间插值。由于噪声 g 是在网络外部采样的，因此从 logits 到输出的路径保持可微。
掌握 Gumbel-Softmax 和重新参数化
Gumbel-Softmax 是一种让神经网络从离散类别中“采样”的技巧，同时仍然可以通过梯度下降进行训练。这很重要，因为反向传播通常不能通过随机、离散的选择。 Gumbel-Softmax 和重新参数化是一个技术构建块，会大规模影响模型质量、基础设施成本、延迟和可靠性。为了建立深入的理解，请将 Gumbel-Softmax 和重新参数化视为一种操作模型，而不是单个功能：定义所需的结果，澄清假设，并将系统可以可靠地执行的操作与仍需要专家判断的操作分开。
在实践中，强大的团队使用 Gumbel-Softmax 和重新参数化来根据可靠性和成本优化架构、数据和基础设施选择。他们记录明确的成功标准，根据实际数据和工作流程进行测试，并根据观察到的失败模式而不是一次性基准测试胜利进行迭代。这就是理论理解转变为跨产品、政策和运营的持久能力的地方。
多年来，架构决策决定着性能和运营成本。与此同时，优化一个基准测试可以隐藏更广泛的系统弱点。最具弹性的方法是将实验速度与治理规则结合起来：运行试点、捕获证据、发布决策日志，并随着模型行为、用户期望和监管要求的发展不断更新保障措施。
战略影响
多年来，架构决策决定着性能和运营成本。
多年来，架构决策决定着性能和运营成本。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
更好的工程选择可以减少生产中的可靠性事故。
更好的工程选择可以减少生产中的可靠性事故。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
现实世界的实施
使用分类（离散）潜在代码而不是仅连续高斯代码训练变分自动编码器。
可微分神经架构搜索（例如 DARTS 风格的方法）选择在每一层放置哪个操作。
学习 VQ 风格和离散表示模型中的离散码本选择。
专家混合网络和条件计算网络中的可微路由或门控决策。
实施模式
Gumbel-Softmax 和重新参数化实践
使用分类（离散）潜在代码而不是仅连续高斯代码训练变分自动编码器。
使用分类（离散）潜在代码而不是仅连续高斯代码来训练变分自动编码器当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会获得更好的结果。
Gumbel-Softmax 和重新参数化实践
可微分神经架构搜索（例如 DARTS 风格的方法）选择在每一层放置哪个操作。
可微分的神经架构搜索（例如 DARTS 式方法）选择在每一层放置哪些操作当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会得到更好的结果。
Gumbel-Softmax 和重新参数化实践
学习 VQ 风格和离散表示模型中的离散码本选择。
在 VQ 风格和离散表示模型中学习离散码本选择 当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力增益和错误成本时，通常会获得更好的结果。
Gumbel-Softmax 和重新参数化实践
专家混合网络和条件计算网络中的可微路由或门控决策。
专家混合和条件计算网络中的可微分路由或门控决策当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会获得更好的结果。
风险与防护栏
优化一项基准测试可以隐藏更广泛的系统弱点。
基础设施和维护成本常常被低估。
随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
实施路线图
在实施之前定义延迟、质量和成本目标。
在实施之前定义延迟、质量和成本目标。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
在实际负载和数据条件下进行基准测试。
在实际负载和数据条件下进行基准测试。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
仪器监控错误、漂移和用户影响。
仪器监控错误、漂移和用户影响。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
在扩展之前准备回滚和事件响应路径。
在扩展之前准备回滚和事件响应路径。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。