āļ„āļđāđˆāļĄāļ·āļ­āļžāļ·āđ‰āļ™āļāļēāļ™

āļŦāļ™āđˆāļ§āļĒāđ€āļāļīāļ”āļ‹āđ‰āļģāļĢāļąāđ‰āļ§āļĢāļ­āļšāļ‚āļ­āļšāļŠāļīāļ”

Gated Recurrent Unit (GRU) āđ€āļ›āđ‡āļ™āđ€āļ‹āļĨāļĨāđŒāđ‚āļ„āļĢāļ‡āļ‚āđˆāļēāļĒāļ›āļĢāļ°āļŠāļēāļ—āļ—āļĩāđˆāđ€āļāļīāļ”āļ‹āđ‰āļģāļ›āļĢāļ°āđ€āļ āļ—āļ—āļĩāđˆāļĄāļĩāļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāļ”āļĩāļ‚āļķāđ‰āļ™ āļ‹āļķāđˆāļ‡āđƒāļŠāđ‰āđ€āļāļ• 2 āļ•āļąāļ§āđƒāļ™āļāļēāļĢāļ•āļąāļ”āļŠāļīāļ™āđƒāļˆāļ§āđˆāļēāļ‚āđ‰āļ­āļĄāļđāļĨāđƒāļ”āļ—āļĩāđˆāļˆāļ°āđ€āļāđ‡āļšāđ„āļ§āđ‰āđāļĨāļ°āļŠāļīāđˆāļ‡āļ—āļĩāđˆāļˆāļ°āļĨāļ·āļĄāđ€āļĄāļ·āđˆāļ­āļ­āđˆāļēāļ™āļĨāļģāļ”āļąāļš

āļŸāļąāļ‡āļ„āļģāđāļ™āļ°āļ™āļģāļ™āļĩāđ‰āļšāļĢāļĢāļĒāļēāļĒāđ‚āļ”āļĒ AI · ~2 min

āļšāļ™āļŦāļ™āđ‰āļēāļ™āļĩāđ‰āļ­āđˆāļēāļ™ 2 āļ™āļēāļ—āļĩ
  1. āļ āļēāļžāļĢāļ§āļĄ
  2. āđ€āļˆāļēāļ°āļĨāļķāļ
  3. āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡
  4. āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡āļŦāļ™āđˆāļ§āļĒ Gated Recurrent
  5. āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī
  6. āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›
  7. āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

āļ āļēāļžāļĢāļ§āļĄ

It matters because it captures long-range patterns in text, speech, and time series almost as well as LSTMs while being faster and simpler to train.

āđ€āļˆāļēāļ°āļĨāļķāļ

GRU āđ€āļ›āļīāļ”āļ•āļąāļ§āđ‚āļ”āļĒ Cho āđāļĨāļ°āđ€āļžāļ·āđˆāļ­āļ™āļĢāđˆāļ§āļĄāļ‡āļēāļ™āđƒāļ™āļ›āļĩ 2014 āđ„āļ”āđ‰āļĢāļąāļšāļāļēāļĢāļ­āļ­āļāđāļšāļšāļĄāļēāđ€āļžāļ·āđˆāļ­āđāļāđ‰āļ›āļąāļāļŦāļēāļāļēāļĢāđ„āļĨāđˆāļĢāļ°āļ”āļąāļšāļ—āļĩāđˆāļŦāļēāļĒāđ„āļ›āļ‹āļķāđˆāļ‡āļĢāļšāļāļ§āļ™āđ€āļ„āļĢāļ·āļ­āļ‚āđˆāļēāļĒāļ—āļĩāđˆāđ€āļāļīāļ”āļ‹āđ‰āļģāļ˜āļĢāļĢāļĄāļ”āļē āļ‹āļķāđˆāļ‡āļ›āļĢāļ°āļŠāļšāļ›āļąāļāļŦāļēāđƒāļ™āļāļēāļĢāļˆāļ”āļˆāļģāļ‚āđ‰āļ­āļĄāļđāļĨāđƒāļ™āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļ•āđˆāļēāļ‡āđ† āļ‚āļ­āļ‡āđ€āļ§āļĨāļē āļ•āđˆāļēāļ‡āļˆāļēāļ LSTM āļ‹āļķāđˆāļ‡āđƒāļŠāđ‰āļ›āļĢāļ°āļ•āļđāļŠāļēāļĄāļ›āļĢāļ°āļ•āļđāđāļĨāļ°āļŠāļ–āļēāļ™āļ°āđ€āļ‹āļĨāļĨāđŒāđāļĒāļāļāļąāļ™ GRU āđƒāļŠāđ‰āđ€āļžāļĩāļĒāļ‡āļŠāļ­āļ‡āļ›āļĢāļ°āļ•āļđāđāļĨāļ°āļŠāļ–āļēāļ™āļ°āļ‹āđˆāļ­āļ™āđ€āļĢāđ‰āļ™āđ€āļžāļĩāļĒāļ‡āļŠāļ–āļēāļ™āļ°āđ€āļ”āļĩāļĒāļ§ āļ›āļĢāļ°āļ•āļđāļ­āļąāļ›āđ€āļ”āļ•āļˆāļ°āļ„āļ§āļšāļ„āļļāļĄāļˆāļģāļ™āļ§āļ™āļŠāļ–āļēāļ™āļ°āļ—āļĩāđˆāļ‹āđˆāļ­āļ™āļ­āļĒāļđāđˆāļāđˆāļ­āļ™āļŦāļ™āđ‰āļēāļ™āļĩāđ‰āļ—āļĩāđˆāļˆāļ°āļ”āļģāđ€āļ™āļīāļ™āļāļēāļĢāļ•āđˆāļ­āđ„āļ›āđ€āļ—āļĩāļĒāļšāļāļąāļšāļˆāļģāļ™āļ§āļ™āļ‚āđ‰āļ­āļĄāļđāļĨāđƒāļŦāļĄāđˆāļ—āļĩāđˆāļˆāļ°āđ€āļžāļīāđˆāļĄ āļ›āļĢāļ°āļ•āļđāļĢāļĩāđ€āļ‹āđ‡āļ•āļˆāļ°āļ•āļąāļ”āļŠāļīāļ™āđƒāļˆāļ§āđˆāļēāļˆāļ°āđ€āļžāļīāļāđ€āļ‰āļĒāļ•āđˆāļ­āļ‚āđ‰āļ­āļĄāļđāļĨāđƒāļ™āļ­āļ”āļĩāļ•āļĄāļēāļāļ™āđ‰āļ­āļĒāđ€āļžāļĩāļĒāļ‡āđƒāļ”āđ€āļĄāļ·āđˆāļ­āļ„āļģāļ™āļ§āļ“āļŠāļ–āļēāļ™āļ°āļœāļđāđ‰āļŠāļĄāļąāļ„āļĢāđƒāļŦāļĄāđˆ āļ”āđ‰āļ§āļĒāļāļēāļĢāļœāļŠāļĄāļœāļŠāļēāļ™āļŠāļ–āļēāļ™āļ°āđ€āļāđˆāļēāđāļĨāļ°āđƒāļŦāļĄāđˆāđ€āļ‚āđ‰āļēāļāļąāļšāļāļēāļĢāđāļāđ‰āđ„āļ‚āļ—āļĩāđˆāđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āđ‚āļ”āļĒāļ•āļĢāļ‡ GRU āļŠāđˆāļ§āļĒāđƒāļŦāđ‰āļāļēāļĢāđ„āļĨāđˆāļĢāļ°āļ”āļąāļšāļŠāļĩāđ„āļŦāļĨāđ„āļ›āļ•āļēāļĄāļĨāļģāļ”āļąāļšāļ—āļĩāđˆāļĒāļēāļ§ āļžāļēāļĢāļēāļĄāļīāđ€āļ•āļ­āļĢāđŒāļ—āļĩāđˆāļ™āđ‰āļ­āļĒāļĨāļ‡āļŦāļĄāļēāļĒāļ–āļķāļ‡āļŦāļ™āđˆāļ§āļĒāļ„āļ§āļēāļĄāļˆāļģāļ™āđ‰āļ­āļĒāļĨāļ‡ āļāļēāļĢāļāļķāļāļ­āļšāļĢāļĄāđ€āļĢāđ‡āļ§āļ‚āļķāđ‰āļ™ āđāļĨāļ°āļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāļ—āļĩāđˆāđāļ‚āđ‡āļ‡āđāļāļĢāđˆāļ‡āļšāļ™āļŠāļļāļ”āļ‚āđ‰āļ­āļĄāļđāļĨāļ‚āļ™āļēāļ”āđ€āļĨāđ‡āļ

āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡

āļ‚āļąāļšāđ€āļ„āļĨāļ·āđˆāļ­āļ™āđ‚āļĄāđ€āļ”āļĨāļāļēāļĢāļĢāļđāđ‰āļˆāļģāđ€āļŠāļĩāļĒāļ‡āļ‚āļ™āļēāļ”āļāļ°āļ—āļąāļ”āļĢāļąāļ”āļšāļ™āđ‚āļ—āļĢāļĻāļąāļžāļ—āđŒāđāļĨāļ°āļĨāļģāđ‚āļžāļ‡āļ­āļąāļˆāļ‰āļĢāļīāļĒāļ°āļ—āļĩāđˆāļĄāļĩāļŦāļ™āđˆāļ§āļĒāļ„āļ§āļēāļĄāļˆāļģāđāļĨāļ°āđāļšāļ•āđ€āļ•āļ­āļĢāļĩāđˆāļĄāļĩāļˆāļģāļāļąāļ”

āļžāļĒāļēāļāļĢāļ“āđŒāļ„āļ§āļēāļĄāļ•āđ‰āļ­āļ‡āļāļēāļĢāđ„āļŸāļŸāđ‰āļēāļĢāļ°āļĒāļ°āļŠāļąāđ‰āļ™āļŦāļĢāļ·āļ­āļĢāļēāļ„āļēāļŦāļļāđ‰āļ™āļˆāļēāļāļ‚āđ‰āļ­āļĄāļđāļĨāļ­āļ™āļļāļāļĢāļĄāđ€āļ§āļĨāļēāđƒāļ™āļ­āļ”āļĩāļ•

āļāļēāļĢāļ•āļĢāļ§āļˆāļˆāļąāļšāļ„āļ§āļēāļĄāļœāļīāļ”āļ›āļāļ•āļīāđƒāļ™āļāļēāļĢāļŠāļ•āļĢāļĩāļĄāļāļēāļĢāļ­āđˆāļēāļ™āļ„āđˆāļēāđ€āļ‹āđ‡āļ™āđ€āļ‹āļ­āļĢāđŒāļˆāļēāļāđ€āļ„āļĢāļ·āđˆāļ­āļ‡āļˆāļąāļāļĢāļ­āļļāļ•āļŠāļēāļŦāļāļĢāļĢāļĄāđ€āļžāļ·āđˆāļ­āļāļēāļĢāļšāļģāļĢāļļāļ‡āļĢāļąāļāļĐāļēāđ€āļŠāļīāļ‡āļ„āļēāļ”āļāļēāļĢāļ“āđŒ

āļĨāļģāļ”āļąāļšāļāļēāļĢāđ€āļ‚āđ‰āļēāļĢāļŦāļąāļŠāđƒāļ™āļĢāļ°āļšāļšāļāļēāļĢāđāļ›āļĨāļ”āđ‰āļ§āļĒāđ€āļ„āļĢāļ·āđˆāļ­āļ‡āļ›āļĢāļ°āļŠāļēāļ—āđƒāļ™āļĒāļļāļ„āđāļĢāļāđ† āļāđˆāļ­āļ™āļ—āļĩāđˆ Transformers āļˆāļ°āļāļĨāļēāļĒāđ€āļ›āđ‡āļ™āļĄāļēāļ•āļĢāļāļēāļ™

āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡āļŦāļ™āđˆāļ§āļĒ Gated Recurrent

āđāļĄāđ‰āļ§āđˆāļēāļ›āļąāļˆāļˆāļļāļšāļąāļ™ Transformers āļˆāļ°āļ„āļĢāļ­āļ‡āļ‡āļēāļ™āļ”āđ‰āļēāļ™āļ āļēāļĐāļēāļ‚āļ™āļēāļ”āđƒāļŦāļāđˆ āđāļ•āđˆ GRU āļĒāļąāļ‡āļ„āļ‡āļĄāļĩāļ„āļļāļ“āļ„āđˆāļēāđ„āļĄāđˆāļ§āđˆāļēāļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāļˆāļ°āđ€āļ›āđ‡āļ™āļ­āļĒāđˆāļēāļ‡āđ„āļĢāļ•āļēāļĄāļĨāļģāļ”āļąāļš āđ€āļŠāđˆāļ™ āļāļēāļĢāļĢāļđāđ‰āļˆāļģāļ„āļģāļžāļđāļ”āļšāļ™āļ­āļļāļ›āļāļĢāļ“āđŒ āđ€āļ‹āđ‡āļ™āđ€āļ‹āļ­āļĢāđŒāđāļšāļšāļāļąāļ‡ āļāļēāļĢāļ„āļ§āļšāļ„āļļāļĄāđāļšāļšāđ€āļĢāļĩāļĒāļĨāđ„āļ—āļĄāđŒ āđāļĨāļ°āļāļēāļĢāļŠāļ•āļĢāļĩāļĄāļ—āļĩāđˆāļĄāļĩāđ€āļ§āļĨāļēāđāļāļ‡āļ•āđˆāļģ āļ™āļąāļāļ§āļīāļˆāļąāļĒāļĒāļąāļ‡āļžāļąāļšāđ€āļāđ‡āļšāđāļ™āļ§āļ„āļīāļ”āļ•āđˆāļēāļ‡āđ† āļāļĨāļąāļšāđ„āļ›āļŠāļđāđˆāļŠāļ–āļēāļ›āļąāļ•āļĒāļāļĢāļĢāļĄāđƒāļŦāļĄāđˆāđ† āđāļĨāļ°āđāļšāļšāļˆāļģāļĨāļ­āļ‡āļžāļ·āđ‰āļ™āļ—āļĩāđˆāļ‚āļ­āļ‡āļĢāļąāļ āđ€āļŠāđˆāļ™ Mamba āļˆāļ°āļĄāļēāļ—āļšāļ—āļ§āļ™āļāļēāļĢāļ›āļĢāļ°āļĄāļ§āļĨāļœāļĨāļ•āļēāļĄāļĨāļģāļ”āļąāļšāđāļšāļšāđ€āļāļīāļ”āļ‹āđ‰āļģāļŠāļģāļŦāļĢāļąāļšāļšāļĢāļīāļšāļ—āļ—āļĩāđˆāļĒāļēāļ§ āļ„āļēāļ”āļŦāļ§āļąāļ‡āļ§āđˆāļē GRU āļˆāļ°āļĒāļąāļ‡āļ„āļ‡āđ€āļ›āđ‡āļ™āļ•āļąāļ§āđ€āļĨāļ·āļ­āļāļ—āļĩāđˆāļĄāļĩāļ™āđ‰āļģāļŦāļ™āļąāļāđ€āļšāļēāđāļĨāļ°āđ€āļŠāļ·āđˆāļ­āļ–āļ·āļ­āđ„āļ”āđ‰āđƒāļ™āļāļēāļĢāļ•āļąāđ‰āļ‡āļ„āđˆāļēāļ—āļĩāđˆāļĄāļĩāļ—āļĢāļąāļžāļĒāļēāļāļĢāļˆāļģāļāļąāļ”āđāļĨāļ° Edge āļ‹āļķāđˆāļ‡āļāļēāļĢāđ€āļ­āļēāđƒāļˆāđƒāļŠāđˆāļ­āļĒāđˆāļēāļ‡āđ€āļ•āđ‡āļĄāļ—āļĩāđˆāļĄāļĩāļ„āđˆāļēāđƒāļŠāđ‰āļˆāđˆāļēāļĒāļŠāļđāļ‡āđ€āļāļīāļ™āđ„āļ›

āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī

āļ—āļģāđ„āļĄāļĄāļąāļ™āļ–āļķāļ‡āļŠāļģāļ„āļąāļ

  • āļāļēāļĢāļ•āļąāļ”āļŠāļīāļ™āđƒāļˆāļ—āļĩāđˆāļŠāļąāļ”āđ€āļˆāļ™āļĒāļīāđˆāļ‡āļ‚āļķāđ‰āļ™. āļŠāđˆāļ§āļĒāđƒāļŦāđ‰āļ„āļļāļ“āđāļĒāļāļ„āļģāļāļĨāđˆāļēāļ§āļ­āđ‰āļēāļ‡āļ—āļēāļ‡āđ€āļ—āļ„āļ™āļīāļ„āļ—āļĩāđˆāļŠāļąāļ”āđ€āļˆāļ™āļ­āļ­āļāļˆāļēāļāļ āļēāļĐāļēāļ—āļēāļ‡āļāļēāļĢāļ•āļĨāļēāļ”āđ„āļ”āđ‰
  • āļ•āđ‰āļ™āļ—āļļāļ™āđāļĨāļ°āļ‡āļšāļ›āļĢāļ°āļĄāļēāļ“. āļ„āļļāļ“āļŠāļēāļĄāļēāļĢāļ–āļ–āļēāļĄāļ„āļģāļ–āļēāļĄāļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļ—āļĩāđˆāļ”āļĩāļ‚āļķāđ‰āļ™āļāđˆāļ­āļ™āļ—āļĩāđˆāļˆāļ°āđƒāļŠāđ‰āđ€āļ‡āļīāļ™āļŦāļĢāļ·āļ­āđ€āļ§āļĨāļē
  • āļ—āļĩāļĄāļ‡āļēāļ™āđāļĨāļ°āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļāļēāļĢāļ—āļģāļ‡āļēāļ™. āļ—āļĩāļĄāļ—āļĩāđˆāļĄāļĩāļ„āļ§āļēāļĄāđ€āļ‚āđ‰āļēāđƒāļˆāļĢāđˆāļ§āļĄāļāļąāļ™āļˆāļ°āļ•āļąāļ”āļŠāļīāļ™āđƒāļˆāđ€āļāļĩāđˆāļĒāļ§āļāļąāļšāļœāļĨāļīāļ•āļ āļąāļ“āļ‘āđŒ āļ™āđ‚āļĒāļšāļēāļĒ āđāļĨāļ°āļāļēāļĢāđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āđ„āļ”āđ‰āļ”āļĩāļ‚āļķāđ‰āļ™

āļĢāļ°āļ§āļąāļ‡

  • āđāļ•āđˆāļĨāļ°āļ—āļĩāļĄāļ­āļēāļˆāđƒāļŠāđ‰āļ„āļģāđ€āļ”āļĩāļĒāļ§āļāļąāļ™āļ•āđˆāļēāļ‡āļāļąāļ™ āļ”āļąāļ‡āļ™āļąāđ‰āļ™āļ„āļ§āļĢāļāļģāļŦāļ™āļ”āļ‚āļ­āļšāđ€āļ‚āļ•āļ•āļąāđ‰āļ‡āđāļ•āđˆāđ€āļ™āļīāđˆāļ™āđ†
  • āđ€āļāļ“āļ‘āđŒāļĄāļēāļ•āļĢāļāļēāļ™āļ­āļēāļˆāļ”āļđāđāļ‚āđ‡āļ‡āđāļāļĢāđˆāļ‡āđƒāļ™āļ‚āļ“āļ°āļ—āļĩāđˆāļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡āđ„āļĄāđˆāđ€āļ—āđˆāļēāļāļąāļ™
  • āļāļēāļĢāđ€āļžāļīāļāđ€āļ‰āļĒāļ•āđˆāļ­āļ„āļļāļ“āļ āļēāļžāļ‚āđ‰āļ­āļĄāļđāļĨāđāļĨāļ°āđāļœāļ™āļāļēāļĢāļ›āļĢāļ°āđ€āļĄāļīāļ™āļĄāļąāļāļŠāļĢāđ‰āļēāļ‡āļœāļĨāļĨāļąāļžāļ˜āđŒāļ—āļĩāđˆāđ€āļ›āļĢāļēāļ°āļšāļēāļ‡

āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļ•āđˆāļ­āđ„āļ›

  1. āđ€āļĢāļīāđˆāļĄāļ•āđ‰āļ™āļ”āđ‰āļ§āļĒāļ„āļģāļˆāļģāļāļąāļ”āļ„āļ§āļēāļĄāļ āļēāļĐāļēāļ˜āļĢāļĢāļĄāļ”āļēāļ‚āļ­āļ‡āļœāļĨāļĨāļąāļžāļ˜āđŒāļ—āļĩāđˆāļ„āļļāļ“āļ•āđ‰āļ­āļ‡āļāļēāļĢ
  2. āđ€āļĨāļ·āļ­āļāđ€āļĄāļ•āļĢāļīāļāļ§āļąāļ”āļ„āļ§āļēāļĄāļŠāļģāđ€āļĢāđ‡āļˆāļŦāļ™āļķāđˆāļ‡āļĢāļēāļĒāļāļēāļĢāđāļĨāļ°āđ€āļ‡āļ·āđˆāļ­āļ™āđ„āļ‚āļ„āļ§āļēāļĄāļĨāđ‰āļĄāđ€āļŦāļĨāļ§āļŦāļ™āļķāđˆāļ‡āļĢāļēāļĒāļāļēāļĢāļāđˆāļ­āļ™āļāļēāļĢāļ—āļ”āļŠāļ­āļš
  3. āļ”āļģāđ€āļ™āļīāļ™āļāļēāļĢāļ™āļģāļĢāđˆāļ­āļ‡āļ‚āļ™āļēāļ”āđ€āļĨāđ‡āļāļ”āđ‰āļ§āļĒāļ‚āđ‰āļ­āļĄāļđāļĨāļ•āļąāļ§āđāļ—āļ™ āđ„āļĄāđˆāđƒāļŠāđˆāļŠāļļāļ”āļŠāļēāļ˜āļīāļ•āļ—āļĩāđˆāļŠāļ§āļĒāļ‡āļēāļĄ
  4. āđ€āļ­āļāļŠāļēāļĢāļ—āļĩāđˆ Gated Recurrent Units āļŠāđˆāļ§āļĒāđ„āļ”āđ‰ āđāļĨāļ°āļ§āļīāļ˜āļĩāļ—āļĩāđˆāļ‡āđˆāļēāļĒāļāļ§āđˆāļēāļˆāļ°āļ”āļĩāļāļ§āđˆāļē

āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›

āļˆāļ”āļŦāļĄāļēāļĒāļ‚āđˆāļēāļ§āļŸāļĢāļĩ

āļĢāļąāļšāļŠāļĢāļļāļ› AI āļĢāļēāļĒāļ§āļąāļ™

āđ€āļĢāļ·āđˆāļ­āļ‡āļĢāļēāļ§ AI āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđāļĨāđ‰āļ§ 3 āđ€āļĢāļ·āđˆāļ­āļ‡āļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āđ€āļŠāđ‰āļē, āđ€āļ‚āļĩāļĒāļ™āđ€āļ›āđ‡āļ™āļ āļēāļĐāļēāļ­āļąāļ‡āļāļĪāļĐāļ˜āļĢāļĢāļĄāļ”āļē āļŸāļĢāļĩāļ•āļĨāļ­āļ”āđ„āļ› āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē

āļ­āļĩāđ€āļĄāļĨāļŦāļ™āļķāđˆāļ‡āļ‰āļšāļąāļšāļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āļĒāļāđ€āļĨāļīāļāļāļēāļĢāļŠāļĄāļąāļ„āļĢāđƒāļ™āļ„āļĨāļīāļāđ€āļ”āļĩāļĒāļ§ āđ€āļĢāļēāđ„āļĄāđˆāđ€āļ„āļĒāļ‚āļēāļĒāļŦāļĢāļ·āļ­āđāļŠāļĢāđŒāļ—āļĩāđˆāļ­āļĒāļđāđˆāļ­āļĩāđ€āļĄāļĨāļ‚āļ­āļ‡āļ„āļļāļ“

āļ—āļ”āļŠāļ­āļšāļ•āļąāļ§āđ€āļ­āļ‡

Take the Gated Recurrent Units quiz

āļ‚āđ‰āļ­āđ€āļŠāļ™āļ­āđāļ™āļ°āļ—āļąāļ™āļ—āļĩāļŠāļģāļŦāļĢāļąāļšāļ—āļļāļāļ„āļģāļ•āļ­āļš āđāļĨāļ°āđƒāļšāļĢāļąāļšāļĢāļ­āļ‡āļ—āļĩāđˆāļŠāļēāļĄāļēāļĢāļ–āđāļŠāļĢāđŒāđ„āļ”āđ‰āļžāļĢāđ‰āļ­āļĄ ID āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ„āļ”āđ‰āđ€āļĄāļ·āđˆāļ­āļ„āļļāļ“āļœāđˆāļēāļ™āļŦāļĨāļąāļāļŠāļđāļ•āļĢ

āđ€āļĢāļīāđˆāļĄāđāļšāļšāļ—āļ”āļŠāļ­āļš

āļŠāļ™āļąāļšāļŠāļ™āļļāļ™āļāļēāļĢāļĻāļķāļāļĐāļē AI āļŸāļĢāļĩ AI Understanding āđ€āļ›āđ‡āļ™āļ­āļ‡āļ„āđŒāļāļĢāđ„āļĄāđˆāđāļŠāļ§āļ‡āļŦāļēāļœāļĨāļāļģāđ„āļĢ 501(c)(3) — āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē āđ„āļĄāđˆāļĄāļĩāļāļģāđāļžāļ‡āđ€āļ‡āļīāļ™, āļ•āļĨāļ­āļ”āđ„āļ› āļšāļĢāļīāļˆāļēāļ„

āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

What is Gated Recurrent Units?

Gated Recurrent Unit (GRU) āđ€āļ›āđ‡āļ™āđ€āļ‹āļĨāļĨāđŒāđ‚āļ„āļĢāļ‡āļ‚āđˆāļēāļĒāļ›āļĢāļ°āļŠāļēāļ—āļ—āļĩāđˆāđ€āļāļīāļ”āļ‹āđ‰āļģāļ›āļĢāļ°āđ€āļ āļ—āļ—āļĩāđˆāļĄāļĩāļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāļ”āļĩāļ‚āļķāđ‰āļ™ āļ‹āļķāđˆāļ‡āđƒāļŠāđ‰āđ€āļāļ• 2 āļ•āļąāļ§āđƒāļ™āļāļēāļĢāļ•āļąāļ”āļŠāļīāļ™āđƒāļˆāļ§āđˆāļēāļ‚āđ‰āļ­āļĄāļđāļĨāđƒāļ”āļ—āļĩāđˆāļˆāļ°āđ€āļāđ‡āļšāđ„āļ§āđ‰āđāļĨāļ°āļŠāļīāđˆāļ‡āļ—āļĩāđˆāļˆāļ°āļĨāļ·āļĄāđ€āļĄāļ·āđˆāļ­āļ­āđˆāļēāļ™āļĨāļģāļ”āļąāļš āļŠāļīāđˆāļ‡āļŠāļģāļ„āļąāļāļ„āļ·āļ­āļŠāļēāļĄāļēāļĢāļ–āļˆāļąāļšāļĢāļđāļ›āđāļšāļšāļĢāļ°āļĒāļ°āļĒāļēāļ§āđƒāļ™āļ‚āđ‰āļ­āļ„āļ§āļēāļĄ āļ„āļģāļžāļđāļ” āđāļĨāļ°āļ­āļ™āļļāļāļĢāļĄāđ€āļ§āļĨāļēāđ„āļ”āđ‰āđ€āļāļ·āļ­āļšāļžāļ­āđ† āļāļąāļš LSTM āđƒāļ™āļ‚āļ“āļ°āļ—āļĩāđˆāļāļķāļāļāļ™āđ„āļ”āđ‰āđ€āļĢāđ‡āļ§āđāļĨāļ°āļ‡āđˆāļēāļĒāļāļ§āđˆāļē

What does the update gate control?

The guide says the update gate blends prior hidden state and new content.

What does the reset gate control?

The guide says the reset gate determines how much past state to ignore for the candidate.

How does the GRU represent memory compared with an LSTM?

The guide distinguishes the GRU’s single hidden state from the LSTM cell state.

For a GRU update gate z, what does a value near one do?

The guide gives the update formula as a blend of the previous state and candidate; when z is near one, the previous state is mostly preserved.

Why can gating help with long-range dependencies?

The guide says gated state updates help address vanishing-gradient limitations of plain RNNs.

āđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āļ•āđˆāļ­āđ„āļ›

āļ„āļģāđāļ™āļ°āļ™āļģāļ—āļĩāđˆāđ€āļāļĩāđˆāļĒāļ§āļ‚āđ‰āļ­āļ‡

āļ„āļģāđāļ™āļ°āļ™āļģāđ€āļžāļīāđˆāļĄāđ€āļ•āļīāļĄāļ—āļĩāđˆāđ€āļĨāļ·āļ­āļāļŠāļģāļŦāļĢāļąāļšāļŦāļąāļ§āļ‚āđ‰āļ­āļ™āļĩāđ‰

āļ•āđˆāļ­āđ„āļ›āļ„āļģāđāļ™āļ°āļ™āļģāļ•āđˆāļ­āđ„āļ›

āđ‚āļ„āļĢāļ‡āļ‚āđˆāļēāļĒāļ›āļĢāļ°āļŠāļēāļ—āđ€āļ—āļĩāļĒāļĄāļ—āļĩāđˆāđ€āļāļīāļ”āļ‹āđ‰āļģ

āļ„āļ§āļēāļĄāļĢāļđāđ‰āļžāļ·āđ‰āļ™āļāļēāļ™

āļĢāļąāļšāđƒāļšāļĢāļąāļšāļĢāļ­āļ‡ AI āļŸāļĢāļĩāļŦāļĨāļąāļāļŠāļđāļ•āļĢāđāļĨāļ°āļāļēāļĢāļŠāļ­āļšāļŠāļąāđ‰āļ™ āđ† āļŸāļĢāļĩ āđ„āļĄāđˆāļĄāļĩāļ„āđˆāļēāđƒāļŠāđ‰āļˆāđˆāļēāļĒ āđ„āļĄāđˆāļĄāļĩāļšāļąāļ•āļĢāđ€āļ„āļĢāļ”āļīāļ• āļ›āļĢāļ°āļĄāļēāļ“ 2.5 āļŠāļąāđˆāļ§āđ‚āļĄāļ‡āđ€āļĢāļīāđˆāļĄāļ•āđ‰āļ™āļŸāļĢāļĩ →