概述
It matters because it captures long-range patterns in text, speech, and time series almost as well as LSTMs while being faster and simpler to train.
深入探讨
GRU 由 Cho 及其同事于 2014 年提出，旨在解决困扰普通循环网络的梯度消失问题，该网络很难记住多个时间步骤的信息。与使用三个门和一个单独的单元状态的 LSTM 不同，GRU 仅使用两个门和一个隐藏状态。更新门控制要继承多少先前的隐藏状态以及要添加多少新信息。重置门决定在计算新的候选状态时要忽略多少过去的信息。通过使用学习插值直接混合新旧状态，GRU 让梯度在长序列上流动。更少的参数意味着更少的内存、更快的训练以及在较小数据集上的强大性能。
现实世界的实施
为内存和电池有限的手机和智能扬声器上的紧凑型语音识别模型提供支持
根据历史时间序列数据预测短期电力需求或股票价格
检测工业机械流传感器读数中的异常情况以进行预测性维护
在变形金刚成为标准之前，早期神经机器翻译系统中的编码序列
门控循环单元的未来
尽管 Transformer 现在在大规模语言任务中占据主导地位，但在顺序效率至关重要的地方，GRU 仍然很有价值：设备上语音识别、嵌入式传感器、实时控制和低延迟流。研究人员还将门控思想重新融入到更新的架构中，而像 Mamba 这样的状态空间模型则重新审视了长上下文的循环式顺序处理。期望 GRU 在资源有限和边缘环境中继续作为一种轻量级、可靠的选择，在这些环境中，全面关注的成本太高。
付诸实践
为什么这很重要
- 更清晰的判决. 它可以帮助您将清晰的技术声明与营销语言分开。
- 成本与预算. 在花费金钱或时间之前，您可以提出更好的实施问题。
- 团队与工作流程. 具有共同理解的团队可以做出更好的产品、政策和学习决策。
留意
- 不同的团队可能会以不同的方式使用同一术语，因此请尽早定义范围。
- 基准测试可能看起来很强大，但实际性能却参差不齐。
- 忽视数据质量和评估计划通常会产生脆弱的结果。
后续步骤
- 从您需要的结果的简单语言定义开始。
- 在测试之前选择一种成功指标和一种失败条件。
- 使用代表性数据运行小型试点，而不是完善的演示集。
- 记录门控循环单元在哪些方面有帮助以及在哪些方面更简单的方法更好。
不断探索
常见问题
What is Gated Recurrent Units?
门控循环单元 (GRU) 是一种简化类型的循环神经网络单元，它使用两个门来决定在读取序列时保留哪些信息以及忘记哪些信息。这很重要，因为它几乎可以像 LSTM 一样捕获文本、语音和时间序列中的远程模式，同时训练速度更快、更简单。
更新门控制什么？
该指南称更新门融合了先前的隐藏状态和新内容。
复位门控制什么？
该指南表示，重置门决定了候选人忽略多少过去的状态。
与 LSTM 相比，GRU 如何表示内存？
该指南将 GRU 的单一隐藏状态与 LSTM 单元状态区分开来。
对于 GRU 更新门 z，接近 1 的值有什么作用？
该指南给出了更新公式作为先前状态和候选状态的混合；当 z 接近 1 时，之前的状态大部分被保留。
为什么门控可以帮助解决远程依赖性？
该指南表示，门控状态更新有助于解决普通 RNN 的梯度消失限制。