āļāđāļāđāļāļāļģāđāļāļ°āļāļģāļāđāļāđāļ
āđāļāļĢāļāļāđāļēāļĒāļāļĢāļ°āļŠāļēāļāđāļāļĩāļĒāļĄāļāļĩāđāđāļāļīāļāļāđāļģ
āļāļ§āļēāļĄāļĢāļđāđāļāļ·āđāļāļāļēāļ
āļāļđāđāļĄāļ·āļāļāļ·āđāļāļāļēāļ
Gated Recurrent Unit (GRU) āđāļāđāļāđāļāļĨāļĨāđāđāļāļĢāļāļāđāļēāļĒāļāļĢāļ°āļŠāļēāļāļāļĩāđāđāļāļīāļāļāđāļģāļāļĢāļ°āđāļ āļāļāļĩāđāļĄāļĩāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļāļāļĩāļāļķāđāļ āļāļķāđāļāđāļāđāđāļāļ 2 āļāļąāļ§āđāļāļāļēāļĢāļāļąāļāļŠāļīāļāđāļāļ§āđāļēāļāđāļāļĄāļđāļĨāđāļāļāļĩāđāļāļ°āđāļāđāļāđāļ§āđāđāļĨāļ°āļŠāļīāđāļāļāļĩāđāļāļ°āļĨāļ·āļĄāđāļĄāļ·āđāļāļāđāļēāļāļĨāļģāļāļąāļ
āļāļąāļāļāļģāđāļāļ°āļāļģāļāļĩāđāļāļĢāļĢāļĒāļēāļĒāđāļāļĒ AI · ~2 min
It matters because it captures long-range patterns in text, speech, and time series almost as well as LSTMs while being faster and simpler to train.
GRU āđāļāļīāļāļāļąāļ§āđāļāļĒ Cho āđāļĨāļ°āđāļāļ·āđāļāļāļĢāđāļ§āļĄāļāļēāļāđāļāļāļĩ 2014 āđāļāđāļĢāļąāļāļāļēāļĢāļāļāļāđāļāļāļĄāļēāđāļāļ·āđāļāđāļāđāļāļąāļāļŦāļēāļāļēāļĢāđāļĨāđāļĢāļ°āļāļąāļāļāļĩāđāļŦāļēāļĒāđāļāļāļķāđāļāļĢāļāļāļ§āļāđāļāļĢāļ·āļāļāđāļēāļĒāļāļĩāđāđāļāļīāļāļāđāļģāļāļĢāļĢāļĄāļāļē āļāļķāđāļāļāļĢāļ°āļŠāļāļāļąāļāļŦāļēāđāļāļāļēāļĢāļāļāļāļģāļāđāļāļĄāļđāļĨāđāļāļāļąāđāļāļāļāļāļāđāļēāļāđ āļāļāļāđāļ§āļĨāļē āļāđāļēāļāļāļēāļ LSTM āļāļķāđāļāđāļāđāļāļĢāļ°āļāļđāļŠāļēāļĄāļāļĢāļ°āļāļđāđāļĨāļ°āļŠāļāļēāļāļ°āđāļāļĨāļĨāđāđāļĒāļāļāļąāļ GRU āđāļāđāđāļāļĩāļĒāļāļŠāļāļāļāļĢāļ°āļāļđāđāļĨāļ°āļŠāļāļēāļāļ°āļāđāļāļāđāļĢāđāļāđāļāļĩāļĒāļāļŠāļāļēāļāļ°āđāļāļĩāļĒāļ§ āļāļĢāļ°āļāļđāļāļąāļāđāļāļāļāļ°āļāļ§āļāļāļļāļĄāļāļģāļāļ§āļāļŠāļāļēāļāļ°āļāļĩāđāļāđāļāļāļāļĒāļđāđāļāđāļāļāļŦāļāđāļēāļāļĩāđāļāļĩāđāļāļ°āļāļģāđāļāļīāļāļāļēāļĢāļāđāļāđāļāđāļāļĩāļĒāļāļāļąāļāļāļģāļāļ§āļāļāđāļāļĄāļđāļĨāđāļŦāļĄāđāļāļĩāđāļāļ°āđāļāļīāđāļĄ āļāļĢāļ°āļāļđāļĢāļĩāđāļāđāļāļāļ°āļāļąāļāļŠāļīāļāđāļāļ§āđāļēāļāļ°āđāļāļīāļāđāļāļĒāļāđāļāļāđāļāļĄāļđāļĨāđāļāļāļāļĩāļāļĄāļēāļāļāđāļāļĒāđāļāļĩāļĒāļāđāļāđāļĄāļ·āđāļāļāļģāļāļ§āļāļŠāļāļēāļāļ°āļāļđāđāļŠāļĄāļąāļāļĢāđāļŦāļĄāđ āļāđāļ§āļĒāļāļēāļĢāļāļŠāļĄāļāļŠāļēāļāļŠāļāļēāļāļ°āđāļāđāļēāđāļĨāļ°āđāļŦāļĄāđāđāļāđāļēāļāļąāļāļāļēāļĢāđāļāđāđāļāļāļĩāđāđāļĢāļĩāļĒāļāļĢāļđāđāđāļāļĒāļāļĢāļ GRU āļāđāļ§āļĒāđāļŦāđāļāļēāļĢāđāļĨāđāļĢāļ°āļāļąāļāļŠāļĩāđāļŦāļĨāđāļāļāļēāļĄāļĨāļģāļāļąāļāļāļĩāđāļĒāļēāļ§ āļāļēāļĢāļēāļĄāļīāđāļāļāļĢāđāļāļĩāđāļāđāļāļĒāļĨāļāļŦāļĄāļēāļĒāļāļķāļāļŦāļāđāļ§āļĒāļāļ§āļēāļĄāļāļģāļāđāļāļĒāļĨāļ āļāļēāļĢāļāļķāļāļāļāļĢāļĄāđāļĢāđāļ§āļāļķāđāļ āđāļĨāļ°āļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļāļāļĩāđāđāļāđāļāđāļāļĢāđāļāļāļāļāļļāļāļāđāļāļĄāļđāļĨāļāļāļēāļāđāļĨāđāļ
āļāļąāļāđāļāļĨāļ·āđāļāļāđāļĄāđāļāļĨāļāļēāļĢāļĢāļđāđāļāļģāđāļŠāļĩāļĒāļāļāļāļēāļāļāļ°āļāļąāļāļĢāļąāļāļāļāđāļāļĢāļĻāļąāļāļāđāđāļĨāļ°āļĨāļģāđāļāļāļāļąāļāļāļĢāļīāļĒāļ°āļāļĩāđāļĄāļĩāļŦāļāđāļ§āļĒāļāļ§āļēāļĄāļāļģāđāļĨāļ°āđāļāļāđāļāļāļĢāļĩāđāļĄāļĩāļāļģāļāļąāļ
āļāļĒāļēāļāļĢāļāđāļāļ§āļēāļĄāļāđāļāļāļāļēāļĢāđāļāļāđāļēāļĢāļ°āļĒāļ°āļŠāļąāđāļāļŦāļĢāļ·āļāļĢāļēāļāļēāļŦāļļāđāļāļāļēāļāļāđāļāļĄāļđāļĨāļāļāļļāļāļĢāļĄāđāļ§āļĨāļēāđāļāļāļāļĩāļ
āļāļēāļĢāļāļĢāļ§āļāļāļąāļāļāļ§āļēāļĄāļāļīāļāļāļāļāļīāđāļāļāļēāļĢāļŠāļāļĢāļĩāļĄāļāļēāļĢāļāđāļēāļāļāđāļēāđāļāđāļāđāļāļāļĢāđāļāļēāļāđāļāļĢāļ·āđāļāļāļāļąāļāļĢāļāļļāļāļŠāļēāļŦāļāļĢāļĢāļĄāđāļāļ·āđāļāļāļēāļĢāļāļģāļĢāļļāļāļĢāļąāļāļĐāļēāđāļāļīāļāļāļēāļāļāļēāļĢāļāđ
āļĨāļģāļāļąāļāļāļēāļĢāđāļāđāļēāļĢāļŦāļąāļŠāđāļāļĢāļ°āļāļāļāļēāļĢāđāļāļĨāļāđāļ§āļĒāđāļāļĢāļ·āđāļāļāļāļĢāļ°āļŠāļēāļāđāļāļĒāļļāļāđāļĢāļāđ āļāđāļāļāļāļĩāđ Transformers āļāļ°āļāļĨāļēāļĒāđāļāđāļāļĄāļēāļāļĢāļāļēāļ
āđāļĄāđāļ§āđāļēāļāļąāļāļāļļāļāļąāļ Transformers āļāļ°āļāļĢāļāļāļāļēāļāļāđāļēāļāļ āļēāļĐāļēāļāļāļēāļāđāļŦāļāđ āđāļāđ GRU āļĒāļąāļāļāļāļĄāļĩāļāļļāļāļāđāļēāđāļĄāđāļ§āđāļēāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļāļāļ°āđāļāđāļāļāļĒāđāļēāļāđāļĢāļāļēāļĄāļĨāļģāļāļąāļ āđāļāđāļ āļāļēāļĢāļĢāļđāđāļāļģāļāļģāļāļđāļāļāļāļāļļāļāļāļĢāļāđ āđāļāđāļāđāļāļāļĢāđāđāļāļāļāļąāļ āļāļēāļĢāļāļ§āļāļāļļāļĄāđāļāļāđāļĢāļĩāļĒāļĨāđāļāļĄāđ āđāļĨāļ°āļāļēāļĢāļŠāļāļĢāļĩāļĄāļāļĩāđāļĄāļĩāđāļ§āļĨāļēāđāļāļāļāđāļģ āļāļąāļāļ§āļīāļāļąāļĒāļĒāļąāļāļāļąāļāđāļāđāļāđāļāļ§āļāļīāļāļāđāļēāļāđ āļāļĨāļąāļāđāļāļŠāļđāđāļŠāļāļēāļāļąāļāļĒāļāļĢāļĢāļĄāđāļŦāļĄāđāđ āđāļĨāļ°āđāļāļāļāļģāļĨāļāļāļāļ·āđāļāļāļĩāđāļāļāļāļĢāļąāļ āđāļāđāļ Mamba āļāļ°āļĄāļēāļāļāļāļ§āļāļāļēāļĢāļāļĢāļ°āļĄāļ§āļĨāļāļĨāļāļēāļĄāļĨāļģāļāļąāļāđāļāļāđāļāļīāļāļāđāļģāļŠāļģāļŦāļĢāļąāļāļāļĢāļīāļāļāļāļĩāđāļĒāļēāļ§ āļāļēāļāļŦāļ§āļąāļāļ§āđāļē GRU āļāļ°āļĒāļąāļāļāļāđāļāđāļāļāļąāļ§āđāļĨāļ·āļāļāļāļĩāđāļĄāļĩāļāđāļģāļŦāļāļąāļāđāļāļēāđāļĨāļ°āđāļāļ·āđāļāļāļ·āļāđāļāđāđāļāļāļēāļĢāļāļąāđāļāļāđāļēāļāļĩāđāļĄāļĩāļāļĢāļąāļāļĒāļēāļāļĢāļāļģāļāļąāļāđāļĨāļ° Edge āļāļķāđāļāļāļēāļĢāđāļāļēāđāļāđāļŠāđāļāļĒāđāļēāļāđāļāđāļĄāļāļĩāđāļĄāļĩāļāđāļēāđāļāđāļāđāļēāļĒāļŠāļđāļāđāļāļīāļāđāļ
āļāļāļŦāļĄāļēāļĒāļāđāļēāļ§āļāļĢāļĩ
āđāļĢāļ·āđāļāļāļĢāļēāļ§ AI āļāļĩāđāļāļĢāļ§āļāļŠāļāļāđāļĨāđāļ§ 3 āđāļĢāļ·āđāļāļāļāļļāļāļ§āļąāļāļāļģāļāļēāļ āđāļāđāļē, āđāļāļĩāļĒāļāđāļāđāļāļ āļēāļĐāļēāļāļąāļāļāļĪāļĐāļāļĢāļĢāļĄāļāļē āļāļĢāļĩāļāļĨāļāļāđāļ āđāļĄāđāļĄāļĩāđāļāļĐāļāļē
āļāļĩāđāļĄāļĨāļŦāļāļķāđāļāļāļāļąāļāļāļļāļāļ§āļąāļāļāļģāļāļēāļ āļĒāļāđāļĨāļīāļāļāļēāļĢāļŠāļĄāļąāļāļĢāđāļāļāļĨāļīāļāđāļāļĩāļĒāļ§ āđāļĢāļēāđāļĄāđāđāļāļĒāļāļēāļĒāļŦāļĢāļ·āļāđāļāļĢāđāļāļĩāđāļāļĒāļđāđāļāļĩāđāļĄāļĨāļāļāļāļāļļāļ
āļāļāļŠāļāļāļāļąāļ§āđāļāļ
āļāđāļāđāļŠāļāļāđāļāļ°āļāļąāļāļāļĩāļŠāļģāļŦāļĢāļąāļāļāļļāļāļāļģāļāļāļ āđāļĨāļ°āđāļāļĢāļąāļāļĢāļāļāļāļĩāđāļŠāļēāļĄāļēāļĢāļāđāļāļĢāđāđāļāđāļāļĢāđāļāļĄ ID āļāļĩāđāļāļĢāļ§āļāļŠāļāļāđāļāđāđāļĄāļ·āđāļāļāļļāļāļāđāļēāļāļŦāļĨāļąāļāļŠāļđāļāļĢ
āļŠāļāļąāļāļŠāļāļļāļāļāļēāļĢāļĻāļķāļāļĐāļē AI āļāļĢāļĩ AI Understanding āđāļāđāļāļāļāļāđāļāļĢāđāļĄāđāđāļŠāļ§āļāļŦāļēāļāļĨāļāļģāđāļĢ 501(c)(3) â āđāļĄāđāļĄāļĩāđāļāļĐāļāļē āđāļĄāđāļĄāļĩāļāļģāđāļāļāđāļāļīāļ, āļāļĨāļāļāđāļ āļāļĢāļīāļāļēāļ
Gated Recurrent Unit (GRU) āđāļāđāļāđāļāļĨāļĨāđāđāļāļĢāļāļāđāļēāļĒāļāļĢāļ°āļŠāļēāļāļāļĩāđāđāļāļīāļāļāđāļģāļāļĢāļ°āđāļ āļāļāļĩāđāļĄāļĩāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļāļāļĩāļāļķāđāļ āļāļķāđāļāđāļāđāđāļāļ 2 āļāļąāļ§āđāļāļāļēāļĢāļāļąāļāļŠāļīāļāđāļāļ§āđāļēāļāđāļāļĄāļđāļĨāđāļāļāļĩāđāļāļ°āđāļāđāļāđāļ§āđāđāļĨāļ°āļŠāļīāđāļāļāļĩāđāļāļ°āļĨāļ·āļĄāđāļĄāļ·āđāļāļāđāļēāļāļĨāļģāļāļąāļ āļŠāļīāđāļāļŠāļģāļāļąāļāļāļ·āļāļŠāļēāļĄāļēāļĢāļāļāļąāļāļĢāļđāļāđāļāļāļĢāļ°āļĒāļ°āļĒāļēāļ§āđāļāļāđāļāļāļ§āļēāļĄ āļāļģāļāļđāļ āđāļĨāļ°āļāļāļļāļāļĢāļĄāđāļ§āļĨāļēāđāļāđāđāļāļ·āļāļāļāļāđ āļāļąāļ LSTM āđāļāļāļāļ°āļāļĩāđāļāļķāļāļāļāđāļāđāđāļĢāđāļ§āđāļĨāļ°āļāđāļēāļĒāļāļ§āđāļē
The guide says the update gate blends prior hidden state and new content.
The guide says the reset gate determines how much past state to ignore for the candidate.
The guide distinguishes the GRUâs single hidden state from the LSTM cell state.
The guide gives the update formula as a blend of the previous state and candidate; when z is near one, the previous state is mostly preserved.
The guide says gated state updates help address vanishing-gradient limitations of plain RNNs.
āđāļĢāļĩāļĒāļāļĢāļđāđāļāđāļāđāļ
āļāļģāđāļāļ°āļāļģāđāļāļīāđāļĄāđāļāļīāļĄāļāļĩāđāđāļĨāļ·āļāļāļŠāļģāļŦāļĢāļąāļāļŦāļąāļ§āļāđāļāļāļĩāđ
āļāđāļāđāļāļāļģāđāļāļ°āļāļģāļāđāļāđāļ
āđāļāļĢāļāļāđāļēāļĒāļāļĢāļ°āļŠāļēāļāđāļāļĩāļĒāļĄāļāļĩāđāđāļāļīāļāļāđāļģ
āļāļ§āļēāļĄāļĢāļđāđāļāļ·āđāļāļāļēāļ