门控循环单元
门控循环单元 (GRU) 是一种简化类型的循环神经网络单元，它使用两个门来决定在读取序列时保留哪些信息以及忘记哪些信息。
概述
It matters because it captures long-range patterns in text, speech, and time series almost as well as LSTMs while being faster and simpler to train.
深入探讨
GRU 由 Cho 及其同事于 2014 年提出，旨在解决困扰普通循环网络的梯度消失问题，该网络很难记住多个时间步骤的信息。与使用三个门和一个单独的单元状态的 LSTM 不同，GRU 仅使用两个门和一个隐藏状态。更新门控制要继承多少先前的隐藏状态以及要添加多少新信息。重置门决定在计算新的候选状态时要忽略多少过去的信息。通过使用学习插值直接混合新旧状态，GRU 让梯度在长序列上流动。更少的参数意味着更少的内存、更快的训练以及在较小数据集上的强大性能。
技术洞察
在每个步骤中，重置门 r 和更新门 z 均使用 sigmoid 激活根据输入和先前隐藏状态进行计算，生成 0 到 1 之间的值。通过 tanh 层使用重置门控过去状态形成候选状态。新的隐藏状态是线性插值：z 乘以旧状态加上（1 减 z）乘以候选状态。当 z 保持在 1 附近时，该单元会原封不动地复制其内存，从而在长跨度上保留梯度。
战略影响
更清晰的判决
它可以帮助您将清晰的技术声明与营销语言分开。
成本与预算
在花费金钱或时间之前，您可以提出更好的实施问题。
团队与工作流程
具有共同理解的团队可以做出更好的产品、政策和学习决策。
门控循环单元的未来
尽管 Transformer 现在在大规模语言任务中占据主导地位，但在顺序效率至关重要的地方，GRU 仍然很有价值：设备上语音识别、嵌入式传感器、实时控制和低延迟流。研究人员还将门控思想重新融入到更新的架构中，而像 Mamba 这样的状态空间模型则重新审视了长上下文的循环式顺序处理。期望 GRU 在资源有限和边缘环境中继续作为一种轻量级、可靠的选择，在这些环境中，全面关注的成本太高。
现实世界的实施
为内存和电池有限的手机和智能扬声器上的紧凑型语音识别模型提供支持
根据历史时间序列数据预测短期电力需求或股票价格
检测工业机械流传感器读数中的异常情况以进行预测性维护
在变形金刚成为标准之前，早期神经机器翻译系统中的编码序列
风险与防护栏
不同的团队可能会以不同的方式使用同一术语，因此请尽早定义范围。
基准测试可能看起来很强大，但实际性能却参差不齐。
忽视数据质量和评估计划通常会产生脆弱的结果。
实施路线图
从您需要的结果的简单语言定义开始。
在测试之前选择一种成功指标和一种失败条件。
使用代表性数据运行小型试点，而不是完善的演示集。
记录门控循环单元在哪些方面有帮助以及在哪些方面更简单的方法更好。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Gated Recurrent Units quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Gated Recurrent Units?
门控循环单元 (GRU) 是一种简化类型的循环神经网络单元，它使用两个门来决定在读取序列时保留哪些信息以及忘记哪些信息。这很重要，因为它几乎可以像 LSTM 一样捕获文本、语音和时间序列中的远程模式，同时训练速度更快、更简单。
标准 GRU 使用多少个门？
GRU 使用两个门：更新门和重置门，比 LSTM 的三个门少。
GRU 旨在解决普通循环网络中的哪些核心问题？
门控让梯度在多个时间步上流动，从而缓解限制普通 RNN 的梯度消失问题。
GRU的更新门控制什么？
更新门通过学习插值将旧的隐藏状态与新的候选状态混合。
GRU 在结构上与 LSTM 有何不同？
与 LSTM 的独立单元状态和三个门不同，GRU 将所有内容合并为一个具有两个门的隐藏状态。
什么激活函数产生 0 到 1 之间的 GRU 门值？
S 形激活将门输出压缩到 0 到 1 的范围内，就像软开关一样。