概述
这很重要，因为反向传播通常不能通过随机、离散的选择。
深入探讨
神经网络通过每次操作向后发送梯度来学习。但是对离散类别进行采样（例如选择 50,000 个单词中的#7）是一个艰难的、不可微分的跳跃，因此梯度会在那里消失。重新参数化技巧重写了随机采样，因此随机性来自固定的外部噪声源，为梯度留下平滑、可微的路径。 Gumbel-Softmax 将此应用于分类变量：它将 Gumbel 分布噪声添加到 logits，然后用温度控制的 softmax 替换硬 argmax。在高温下，输出是类别上的平滑斑点；当温度降至零时，它会锐化为接近单热向量，恢复真实采样，同时始终保持可微分。
现实世界的实施
使用分类（离散）潜在代码而不是仅连续高斯代码训练变分自动编码器。
可微分神经架构搜索（例如 DARTS 风格的方法）选择在每一层放置哪个操作。
学习 VQ 风格和离散表示模型中的离散码本选择。
专家混合网络和条件计算网络中的可微路由或门控决策。
Gumbel-Softmax 和重新参数化的未来
Gumbel-Softmax 仍然是离散潜在变量、可微架构搜索、矢量量化模型和混合专家系统中学习路由的默认工具。低方差、低偏差松弛（例如 Rao-Blackwellized 和控制变量估计量）以及平衡暖温度偏差与冷温度高梯度方差的退火方案的研究仍在继续。随着模型越来越多地做出明确的离散决策，预计这些连续的放松将成为使此类选择端到端可学习的核心。
付诸实践
为什么这很重要
- 成本与预算. 多年来，架构决策决定着性能和运营成本。
- 更清晰的判决. 技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
- 质量控制. 更好的工程选择可以减少生产中的可靠性事故。
留意
- 优化一项基准测试可以隐藏更广泛的系统弱点。
- 基础设施和维护成本常常被低估。
- 随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
后续步骤
- 在实施之前定义延迟、质量和成本目标。
- 在实际负载和数据条件下进行基准测试。
- 仪器监控错误、漂移和用户影响。
- 在扩展之前准备回滚和事件响应路径。
不断探索
常见问题
什么是 Gumbel-Softmax 和重新参数化？
Gumbel-Softmax 是一种让神经网络从离散类别中“采样”的技巧，同时仍然可以通过梯度下降进行训练。这很重要，因为反向传播通常不能通过随机、离散的选择。
为什么通过普通反向传播对类别样本进行训练很困难？
指南解释说，梯度无法通过硬离散跳跃传递。
重参数化技巧旨在实现什么？
指南描述了将随机性转移到噪声源中，并保留一条平滑路径。
Gumbel-Softmax 如何近似类别选择？
指南给出了用于可微分类别采样的带噪声 Softmax 构造。
当温度变得很大时，分布会发生什么变化？
高温会产生一个在类别上更平滑的分布。
当温度趋近于零时会发生什么？
指南指出，低温会使分布变得尖锐，趋向于接近 one-hot 向量。