āļ„āļđāđˆāļĄāļ·āļ­āļ—āļēāļ‡āđ€āļ—āļ„āļ™āļīāļ„

āļ„āļ§āļēāļĄāļŠāļ™āđƒāļˆāđƒāļ™āļāļēāļĢāđ€āļ›āļīāļ”āļ•āļąāļ§āđāļĨāļ°āļāļēāļĢāļ•āļąāļ”āđāļ•āđˆāļ‡āļāļīāđˆāļ‡

āļāļēāļĢāđ€āļ›āļīāļ”āļ•āļąāļ§āļ„āļ§āļēāļĄāļŠāļ™āđƒāļˆāđ€āļ›āđ‡āļ™āļ§āļīāļ˜āļĩāļāļēāļĢāđƒāļ™āļāļēāļĢāļ•āļīāļ”āļ•āļēāļĄāļ§āđˆāļēāļ‚āđ‰āļ­āļĄāļđāļĨāđ„āļŦāļĨāļœāđˆāļēāļ™āđ€āļĨāđ€āļĒāļ­āļĢāđŒāļ„āļ§āļēāļĄāļŠāļ™āđƒāļˆāļ—āļĩāđˆāļ‹āđ‰āļ­āļ™āļāļąāļ™āļ‚āļ­āļ‡ Transformer āļ­āļĒāđˆāļēāļ‡āđ„āļĢ āđ€āļžāļ·āđˆāļ­āļ­āļ˜āļīāļšāļēāļĒāļ§āđˆāļēāđ‚āļ—āđ€āļ„āđ‡āļ™āļ­āļīāļ™āļžāļļāļ•āđƒāļ”āļĄāļĩāļ­āļīāļ—āļ˜āļīāļžāļĨāļ•āđˆāļ­āļāļēāļĢāļ„āļēāļ”āļāļēāļĢāļ“āđŒ

āļŸāļąāļ‡āļ„āļģāđāļ™āļ°āļ™āļģāļ™āļĩāđ‰āļšāļĢāļĢāļĒāļēāļĒāđ‚āļ”āļĒ AI · ~2 min

āļšāļ™āļŦāļ™āđ‰āļēāļ™āļĩāđ‰āļ­āđˆāļēāļ™ 2 āļ™āļēāļ—āļĩ
  1. āļ āļēāļžāļĢāļ§āļĄ
  2. āđ€āļˆāļēāļ°āļĨāļķāļ
  3. āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡
  4. āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡āļāļēāļĢāđ€āļ›āļīāļ”āļ•āļąāļ§āļ„āļ§āļēāļĄāļŠāļ™āđƒāļˆāđāļĨāļ°āļāļēāļĢāļ•āļąāļ”āđāļ•āđˆāļ‡āļāļīāđˆāļ‡
  5. āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī
  6. āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›
  7. āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

āļ āļēāļžāļĢāļ§āļĄ

Head pruning removes attention heads that contribute little, shrinking models without hurting accuracy. Together they help us interpret and compress Transformers.

āđ€āļˆāļēāļ°āļĨāļķāļ

āļ—āļĢāļēāļ™āļŠāđŒāļŸāļ­āļĢāđŒāļĄāđ€āļĄāļ­āļĢāđŒāļŠāļāļĢāļ°āļˆāļēāļĒāđ€āļŦāļ•āļļāļœāļĨāļ‚āļ­āļ‡āļžāļ§āļāđ€āļ‚āļēāđ„āļ›āļĒāļąāļ‡āļŦāļąāļ§āļ„āļ§āļēāļĄāļŠāļ™āđƒāļˆāļˆāļģāļ™āļ§āļ™āļĄāļēāļāđƒāļ™āļŦāļĨāļēāļĒāļŠāļąāđ‰āļ™ āļ”āļąāļ‡āļ™āļąāđ‰āļ™āđāļœāļ™āļ—āļĩāđˆāļ„āļ§āļēāļĄāļŠāļ™āđƒāļˆāļ‚āļ­āļ‡āļŠāļąāđ‰āļ™āđ€āļ”āļĩāļĒāļ§āļˆāļķāļ‡āđ„āļĄāđˆāļ„āđˆāļ­āļĒāļšāļ­āļāđ€āļĨāđˆāļēāđ€āļĢāļ·āđˆāļ­āļ‡āļĢāļēāļ§āļ—āļąāđ‰āļ‡āļŦāļĄāļ”āđ„āļ”āđ‰ āļāļēāļĢāđ€āļ›āļīāļ”āļ•āļąāļ§ Attention āļ‹āļķāđˆāļ‡āđ€āļ›āļīāļ”āļ•āļąāļ§āđ‚āļ”āļĒ Abnar āđāļĨāļ° Zuidema āđƒāļ™āļ›āļĩ 2020 āđāļāđ‰āđ„āļ‚āļ›āļąāļāļŦāļēāļ™āļĩāđ‰āļ”āđ‰āļ§āļĒāļāļēāļĢāļ„āļđāļ“āđ€āļĄāļ—āļĢāļīāļāļ‹āđŒāļ„āļ§āļēāļĄāļŠāļ™āđƒāļˆāļ—āļĩāļĨāļ°āļŠāļąāđ‰āļ™ (āļŦāļĨāļąāļ‡āļˆāļēāļāļžāļīāļˆāļēāļĢāļ“āļēāļāļēāļĢāđ€āļŠāļ·āđˆāļ­āļĄāļ•āđˆāļ­āļ—āļĩāđˆāđ€āļŦāļĨāļ·āļ­) āđ€āļžāļ·āđˆāļ­āļ›āļĢāļ°āļĄāļēāļ“āļˆāļģāļ™āļ§āļ™āđ‚āļ—āđ€āļ„āđ‡āļ™āļ­āļīāļ™āļžāļļāļ•āđāļ•āđˆāļĨāļ°āļĢāļēāļĒāļāļēāļĢāđƒāļ™āļ—āđ‰āļēāļĒāļ—āļĩāđˆāļŠāļļāļ”āļ—āļĩāđˆāļŠāđˆāļ‡āļœāļĨāļ•āđˆāļ­āđ‚āļ—āđ€āļ„āđ‡āļ™āđ€āļ­āļēāļ•āđŒāļžāļļāļ•āļ—āļĩāđˆāļāļģāļŦāļ™āļ” āđāļĒāļāļāļēāļĢāļ§āļīāļˆāļąāļĒāđ€āļŠāđˆāļ™āļĄāļīāđ€āļŠāļĨāđāļĨāļ°āđ€āļžāļ·āđˆāļ­āļ™āļĢāđˆāļ§āļĄāļ‡āļēāļ™ 'āļŠāļīāļšāļŦāļāļŦāļąāļ§āļ”āļĩāļāļ§āđˆāļēāļŦāļąāļ§āđ€āļ”āļĩāļĒāļ§āļˆāļĢāļīāļ‡āļŦāļĢāļ·āļ­' āđāļŠāļ”āļ‡āđƒāļŦāđ‰āđ€āļŦāđ‡āļ™āļ§āđˆāļēāļŦāļąāļ§āļˆāļģāļ™āļ§āļ™āļĄāļēāļāļĄāļĩāļ„āļ§āļēāļĄāļ‹āđ‰āļģāļ‹āđ‰āļ­āļ™: āđ€āļĻāļĐāļŠāđˆāļ§āļ™āļ‚āļ™āļēāļ”āđƒāļŦāļāđˆāļŠāļēāļĄāļēāļĢāļ–āļ•āļąāļ”āļ­āļ­āļāđ„āļ”āđ‰āđƒāļ™āđ€āļ§āļĨāļēāļ­āļ™āļļāļĄāļēāļ™āđ‚āļ”āļĒāļŠāļđāļāđ€āļŠāļĩāļĒāļ„āļ§āļēāļĄāđāļĄāđˆāļ™āļĒāļģāđ€āļĨāđ‡āļāļ™āđ‰āļ­āļĒ āļāļēāļĢāļ•āļąāļ”āļŠāđˆāļ§āļ™āļŦāļąāļ§āļˆāļ°āļˆāļąāļ”āļ­āļąāļ™āļ”āļąāļšāļŠāđˆāļ§āļ™āļŦāļąāļ§āļ•āļēāļĄāļ„āļ§āļēāļĄāļŠāļģāļ„āļąāļ āđ‚āļ”āļĒāļĄāļąāļāđƒāļŠāđ‰āļ„āļ°āđāļ™āļ™āļ„āļ§āļēāļĄāđ„āļ§āļ•āļēāļĄāļāļēāļĢāđ„āļĨāđˆāļĢāļ°āļ”āļąāļšāļŠāļĩ āļˆāļēāļāļ™āļąāđ‰āļ™āļˆāļķāļ‡āļ›āļīāļ”āļšāļąāļ‡āļŠāđˆāļ§āļ™āļŦāļąāļ§āļ—āļĩāđˆāļĄāļĩāļ›āļĢāļ°āđ‚āļĒāļŠāļ™āđŒāļ™āđ‰āļ­āļĒāļ—āļĩāđˆāļŠāļļāļ” āđ€āļ—āļ„āļ™āļīāļ„āļ—āļąāđ‰āļ‡āļŠāļ­āļ‡āđ€āļ›āđ‡āļ™āļŠāđˆāļ§āļ™āđ€āļŠāļĢāļīāļĄ: āļāļēāļĢāđ€āļ›āļīāļ”āļ•āļąāļ§āđ€āļœāļĒāđƒāļŦāđ‰āđ€āļŦāđ‡āļ™āļ§āđˆāļēāļŠāđˆāļ§āļ™āđƒāļ”āļ‚āļ­āļ‡āđ€āļ„āļĢāļ·āļ­āļ‚āđˆāļēāļĒāļĄāļĩāļ„āļ§āļēāļĄāļŠāļģāļ„āļąāļāļŠāļģāļŦāļĢāļąāļšāļāļēāļĢāļ•āļĩāļ„āļ§āļēāļĄ āđāļĨāļ°āļāļēāļĢāļ•āļąāļ”āļŠāđˆāļ§āļ™āļ—āļĩāđˆāļ‹āđ‰āļģāļ‹āđ‰āļ­āļ™āđ€āļžāļ·āđˆāļ­āļ—āļģāđƒāļŦāđ‰āđāļšāļšāļˆāļģāļĨāļ­āļ‡āļĄāļĩāļ‚āļ™āļēāļ”āđ€āļĨāđ‡āļāļĨāļ‡āđāļĨāļ°āđ€āļĢāđ‡āļ§āļ‚āļķāđ‰āļ™

āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡

āļāļēāļĢāđāļŠāļ”āļ‡āļ āļēāļžāļ„āļģāđƒāļ™āļ›āļĢāļ°āđ‚āļĒāļ„āļ—āļĩāđˆāļ•āļąāļ§āđāļĒāļāļ›āļĢāļ°āđ€āļ āļ— Transformer āļ­āļēāļĻāļąāļĒ āđ‚āļ”āļĒāļ”āļķāļ‡āļ„āļ§āļēāļĄāļŠāļ™āđƒāļˆāđ€āļžāļ·āđˆāļ­āđ€āļ™āđ‰āļ™āđ‚āļ—āđ€āļ„āđ‡āļ™āļ—āļĩāđˆāļĄāļĩāļ­āļīāļ—āļ˜āļīāļžāļĨ

āļšāļĩāļšāļ­āļąāļ”āđ‚āļĄāđ€āļ”āļĨ BERT āļŠāļģāļŦāļĢāļąāļšāļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļšāļ™āļĄāļ·āļ­āļ–āļ·āļ­āđ‚āļ”āļĒāļ•āļąāļ”āļŠāđˆāļ§āļ™āļŦāļąāļ§āļ‚āļ­āļ‡āļ„āļ§āļēāļĄāļŠāļ™āđƒāļˆāļ—āļĩāđˆāļ‹āđ‰āļģāļ‹āđ‰āļ­āļ™āļ­āļ­āļāđ€āļžāļ·āđˆāļ­āļĨāļ”āđ€āļ§āļĨāļēāđƒāļ™āļāļēāļĢāļ•āļ­āļšāļŠāļ™āļ­āļ‡

āļāļēāļĢāļ•āļĢāļ§āļˆāļŠāļ­āļšāđāļšāļšāļˆāļģāļĨāļ­āļ‡āđ€āļžāļ·āđˆāļ­āļŦāļēāļ­āļ„āļ•āļīāđ‚āļ”āļĒāļāļēāļĢāļ•āļīāļ”āļ•āļēāļĄāļāļĢāļ°āđāļŠāļ„āļ§āļēāļĄāļŠāļ™āđƒāļˆāļˆāļēāļāļāļēāļĢāļ—āļģāļ™āļēāļĒāļāļĨāļąāļšāđ„āļ›āļĒāļąāļ‡āđ‚āļ—āđ€āļ„āđ‡āļ™āļ­āļīāļ™āļžāļļāļ•āļ—āļĩāđˆāļĨāļ°āđ€āļ­āļĩāļĒāļ”āļ­āđˆāļ­āļ™

āđ€āļĢāđˆāļ‡āļāļēāļĢāļ­āļ™āļļāļĄāļēāļ™āđƒāļ™āļĢāļ°āļšāļšāļāļēāļĢāđāļ›āļĨāļāļēāļĢāļœāļĨāļīāļ•āđ‚āļ”āļĒāļāļēāļĢāļ™āļģāļŠāđˆāļ§āļ™āļŦāļąāļ§āļ—āļĩāđˆāļĄāļĩāļ„āļ§āļēāļĄāļŠāļģāļ„āļąāļāļ•āđˆāļģāļ­āļ­āļāļ‹āļķāđˆāļ‡āļĢāļ°āļšāļļāļœāđˆāļēāļ™āļāļēāļĢāđƒāļŦāđ‰āļ„āļ°āđāļ™āļ™āļ„āļ§āļēāļĄāđ„āļ§

āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡āļāļēāļĢāđ€āļ›āļīāļ”āļ•āļąāļ§āļ„āļ§āļēāļĄāļŠāļ™āđƒāļˆāđāļĨāļ°āļāļēāļĢāļ•āļąāļ”āđāļ•āđˆāļ‡āļāļīāđˆāļ‡

āđ€āļĄāļ·āđˆāļ­āđāļšāļšāļˆāļģāļĨāļ­āļ‡āđ€āļ•āļīāļšāđ‚āļ•āļ‚āļķāđ‰āļ™ āļāļēāļĢāļ­āļ™āļļāļĄāļēāļ™āļ—āļĩāđˆāļĄāļĩāļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāđāļĨāļ°āļ„āļģāļ­āļ˜āļīāļšāļēāļĒāļ—āļĩāđˆāļ™āđˆāļēāđ€āļŠāļ·āđˆāļ­āļ–āļ·āļ­āļ•āđˆāļēāļ‡āļāđ‡āļĄāļĩāļ„āļ§āļēāļĄāđ€āļĢāđˆāļ‡āļ”āđˆāļ§āļ™ āļ„āļēāļ”āļ§āđˆāļēāļāļēāļĢāļ•āļąāļ”āļŠāđˆāļ§āļ™āļŦāļąāļ§āļˆāļ°āļœāļŠāļēāļ™āđ€āļ‚āđ‰āļēāļāļąāļšāļāļēāļĢāļ•āļąāļ”āđāļšāļšāļĄāļĩāđ‚āļ„āļĢāļ‡āļŠāļĢāđ‰āļēāļ‡ āļāļēāļĢāļāļģāļŦāļ™āļ”āļ›āļĢāļīāļĄāļēāļ“ āđāļĨāļ°āļāļēāļĢāļāļĨāļąāđˆāļ™āđƒāļ™āđ„āļ›āļ›āđŒāđ„āļĨāļ™āđŒāļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļŠāļģāļŦāļĢāļąāļšāļāļēāļĢāđƒāļŦāđ‰āļšāļĢāļīāļāļēāļĢāļ—āļĩāđˆāļ‚āļ­āļšāđāļĨāļ°āļ„āļģāļ™āļķāļ‡āļ–āļķāļ‡āļ•āđ‰āļ™āļ—āļļāļ™ āļ„āļ§āļēāļĄāļŠāļēāļĄāļēāļĢāļ–āđƒāļ™āļāļēāļĢāļ•āļĩāļ„āļ§āļēāļĄāļĄāļĩāļ„āļ§āļēāļĄāļāđ‰āļēāļ§āļŦāļ™āđ‰āļēāđ„āļ›āđ„āļāļĨāļāļ§āđˆāļēāļāļēāļĢāđ€āļ›āļīāļ”āļ•āļąāļ§āļŠāļđāđˆāļāļĢāļ°āđāļŠāļ„āļ§āļēāļĄāļŠāļ™āđƒāļˆ āļ§āļīāļ˜āļĩāļāļēāļĢāļ–āđˆāļ§āļ‡āļ™āđ‰āļģāļŦāļ™āļąāļāđāļšāļšāđ„āļĨāđˆāļĢāļ°āļ”āļąāļš āđāļĨāļ°āļāļēāļĢāļ§āļīāđ€āļ„āļĢāļēāļ°āļŦāđŒāļ§āļ‡āļˆāļĢāļāļĨāđ„āļāļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāļāļēāļĢāļ—āļģāļ‡āļēāļ™āļ‚āļ­āļ‡āļŦāļąāļ§āđāļ•āđˆāļĨāļ°āļ„āļ™ āļ„āļ§āļēāļĄāļāļ”āļ”āļąāļ™āļ”āđ‰āļēāļ™āļāļŽāļĢāļ°āđ€āļšāļĩāļĒāļšāļŠāļģāļŦāļĢāļąāļš AI āļ—āļĩāđˆāļ­āļ˜āļīāļšāļēāļĒāđ„āļ”āđ‰āļˆāļ°āļœāļĨāļąāļāļ”āļąāļ™āļāļēāļĢāļ§āļīāļˆāļąāļĒāļ—āļĩāđˆāđ€āļŠāļ·āđˆāļ­āļĄāđ‚āļĒāļ‡āļ§āđˆāļēāļŦāļąāļ§āļ‚āđ‰āļ­āđƒāļ”āļĄāļĩāļ„āļ§āļēāļĄāļŠāļģāļ„āļąāļāļāļąāļšāļŠāļīāđˆāļ‡āļ—āļĩāđˆāļžāļ§āļāđ€āļ‚āļēāļ„āļģāļ™āļ§āļ“āļˆāļĢāļīāļ‡

āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī

āļ—āļģāđ„āļĄāļĄāļąāļ™āļ–āļķāļ‡āļŠāļģāļ„āļąāļ

  • āļ•āđ‰āļ™āļ—āļļāļ™āđāļĨāļ°āļ‡āļšāļ›āļĢāļ°āļĄāļēāļ“. āļāļēāļĢāļ•āļąāļ”āļŠāļīāļ™āđƒāļˆāļ”āđ‰āļēāļ™āļŠāļ–āļēāļ›āļąāļ•āļĒāļāļĢāļĢāļĄāļ‚āļąāļšāđ€āļ„āļĨāļ·āđˆāļ­āļ™āļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāđāļĨāļ°āļ•āđ‰āļ™āļ—āļļāļ™āļāļēāļĢāļ”āļģāđ€āļ™āļīāļ™āļ‡āļēāļ™āđ€āļ›āđ‡āļ™āđ€āļ§āļĨāļēāļŦāļĨāļēāļĒāļ›āļĩ
  • āļāļēāļĢāļ•āļąāļ”āļŠāļīāļ™āđƒāļˆāļ—āļĩāđˆāļŠāļąāļ”āđ€āļˆāļ™āļĒāļīāđˆāļ‡āļ‚āļķāđ‰āļ™. āļāļēāļĢāļĻāļķāļāļĐāļēāļ”āđ‰āļēāļ™āđ€āļ—āļ„āļ™āļīāļ„āļŠāđˆāļ§āļĒāđƒāļŦāđ‰āļ—āļĩāļĄāđ€āļĨāļ·āļ­āļāļāļĨāļļāđˆāļĄāļ—āļĩāđˆāđ€āļŦāļĄāļēāļ°āļŠāļĄ āđ„āļĄāđˆāđƒāļŠāđˆāđāļ„āđˆāļāļĨāļļāđˆāļĄāđƒāļŦāļĄāđˆāļĨāđˆāļēāļŠāļļāļ”
  • āļāļēāļĢāļ„āļ§āļšāļ„āļļāļĄāļ„āļļāļ“āļ āļēāļž. āļ•āļąāļ§āđ€āļĨāļ·āļ­āļāļ—āļēāļ‡āļ§āļīāļĻāļ§āļāļĢāļĢāļĄāļ—āļĩāđˆāļ”āļĩāļāļ§āđˆāļēāļˆāļ°āļŠāđˆāļ§āļĒāļĨāļ”āđ€āļŦāļ•āļļāļāļēāļĢāļ“āđŒāļ”āđ‰āļēāļ™āļ„āļ§āļēāļĄāļ™āđˆāļēāđ€āļŠāļ·āđˆāļ­āļ–āļ·āļ­āđƒāļ™āļāļēāļĢāļœāļĨāļīāļ•

āļĢāļ°āļ§āļąāļ‡

  • āļāļēāļĢāđ€āļžāļīāđˆāļĄāļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāđ€āļāļ“āļ‘āđŒāļĄāļēāļ•āļĢāļāļēāļ™āļŦāļ™āļķāđˆāļ‡āļĢāļēāļĒāļāļēāļĢāļŠāļēāļĄāļēāļĢāļ–āļ‹āđˆāļ­āļ™āļˆāļļāļ”āļ­āđˆāļ­āļ™āļ‚āļ­āļ‡āļĢāļ°āļšāļšāđƒāļ™āļ§āļ‡āļāļ§āđ‰āļēāļ‡āđ„āļ”āđ‰
  • āļ•āđ‰āļ™āļ—āļļāļ™āđ‚āļ„āļĢāļ‡āļŠāļĢāđ‰āļēāļ‡āļžāļ·āđ‰āļ™āļāļēāļ™āđāļĨāļ°āļāļēāļĢāļšāļģāļĢāļļāļ‡āļĢāļąāļāļĐāļēāļĄāļąāļāļ–āļđāļāļ›āļĢāļ°āđ€āļĄāļīāļ™āļ•āđˆāļģāđ„āļ›
  • āļŠāđˆāļ­āļ‡āļ§āđˆāļēāļ‡āļ”āđ‰āļēāļ™āļ„āļ§āļēāļĄāļ›āļĨāļ­āļ”āļ āļąāļĒāđāļĨāļ°āļ„āļ§āļēāļĄāļŠāļēāļĄāļēāļĢāļ–āđƒāļ™āļāļēāļĢāļŠāļąāļ‡āđ€āļāļ•āļŠāļēāļĄāļēāļĢāļ–āđ€āļžāļīāđˆāļĄāļ‚āļķāđ‰āļ™āđ„āļ”āđ‰āđ€āļĄāļ·āđˆāļ­āļĢāļ°āļšāļšāļĄāļĩāļ„āļ§āļēāļĄāļ‹āļąāļšāļ‹āđ‰āļ­āļ™āļĄāļēāļāļ‚āļķāđ‰āļ™

āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļ•āđˆāļ­āđ„āļ›

  1. āļāļģāļŦāļ™āļ”āđ€āļ›āđ‰āļēāļŦāļĄāļēāļĒāđ€āļ§āļĨāļēāđāļāļ‡ āļ„āļļāļ“āļ āļēāļž āđāļĨāļ°āļ•āđ‰āļ™āļ—āļļāļ™āļāđˆāļ­āļ™āļ™āļģāđ„āļ›āđƒāļŠāđ‰āļ‡āļēāļ™
  2. āđ€āļāļ“āļ‘āđŒāļĄāļēāļ•āļĢāļāļēāļ™āļ āļēāļĒāđƒāļ•āđ‰āļŠāļ āļēāļ§āļ°āđ‚āļŦāļĨāļ”āđāļĨāļ°āļ‚āđ‰āļ­āļĄāļđāļĨāļˆāļĢāļīāļ‡
  3. āļāļēāļĢāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ€āļ„āļĢāļ·āđˆāļ­āļ‡āļĄāļ·āļ­āđ€āļžāļ·āđˆāļ­āļŦāļēāļ‚āđ‰āļ­āļœāļīāļ”āļžāļĨāļēāļ” āļāļēāļĢāđ€āļšāļĩāđˆāļĒāļ‡āđ€āļšāļ™ āđāļĨāļ°āļœāļĨāļāļĢāļ°āļ—āļšāļ•āđˆāļ­āļœāļđāđ‰āđƒāļŠāđ‰
  4. āđ€āļ•āļĢāļĩāļĒāļĄāđ€āļŠāđ‰āļ™āļ—āļēāļ‡āļāļēāļĢāļĒāđ‰āļ­āļ™āļāļĨāļąāļšāđāļĨāļ°āļāļēāļĢāļ•āļ­āļšāļŠāļ™āļ­āļ‡āļ•āđˆāļ­āđ€āļŦāļ•āļļāļāļēāļĢāļ“āđŒāļāđˆāļ­āļ™āļ›āļĢāļąāļšāļ‚āļ™āļēāļ”

āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›

āļˆāļ”āļŦāļĄāļēāļĒāļ‚āđˆāļēāļ§āļŸāļĢāļĩ

āļĢāļąāļšāļŠāļĢāļļāļ› AI āļĢāļēāļĒāļ§āļąāļ™

āđ€āļĢāļ·āđˆāļ­āļ‡āļĢāļēāļ§ AI āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđāļĨāđ‰āļ§ 3 āđ€āļĢāļ·āđˆāļ­āļ‡āļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āđ€āļŠāđ‰āļē, āđ€āļ‚āļĩāļĒāļ™āđ€āļ›āđ‡āļ™āļ āļēāļĐāļēāļ­āļąāļ‡āļāļĪāļĐāļ˜āļĢāļĢāļĄāļ”āļē āļŸāļĢāļĩāļ•āļĨāļ­āļ”āđ„āļ› āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē

āļ­āļĩāđ€āļĄāļĨāļŦāļ™āļķāđˆāļ‡āļ‰āļšāļąāļšāļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āļĒāļāđ€āļĨāļīāļāļāļēāļĢāļŠāļĄāļąāļ„āļĢāđƒāļ™āļ„āļĨāļīāļāđ€āļ”āļĩāļĒāļ§ āđ€āļĢāļēāđ„āļĄāđˆāđ€āļ„āļĒāļ‚āļēāļĒāļŦāļĢāļ·āļ­āđāļŠāļĢāđŒāļ—āļĩāđˆāļ­āļĒāļđāđˆāļ­āļĩāđ€āļĄāļĨāļ‚āļ­āļ‡āļ„āļļāļ“

āļ—āļ”āļŠāļ­āļšāļ•āļąāļ§āđ€āļ­āļ‡

Take the Attention Rollout and Head Pruning quiz

āļ‚āđ‰āļ­āđ€āļŠāļ™āļ­āđāļ™āļ°āļ—āļąāļ™āļ—āļĩāļŠāļģāļŦāļĢāļąāļšāļ—āļļāļāļ„āļģāļ•āļ­āļš āđāļĨāļ°āđƒāļšāļĢāļąāļšāļĢāļ­āļ‡āļ—āļĩāđˆāļŠāļēāļĄāļēāļĢāļ–āđāļŠāļĢāđŒāđ„āļ”āđ‰āļžāļĢāđ‰āļ­āļĄ ID āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ„āļ”āđ‰āđ€āļĄāļ·āđˆāļ­āļ„āļļāļ“āļœāđˆāļēāļ™āļŦāļĨāļąāļāļŠāļđāļ•āļĢ

āđ€āļĢāļīāđˆāļĄāđāļšāļšāļ—āļ”āļŠāļ­āļš

āļŠāļ™āļąāļšāļŠāļ™āļļāļ™āļāļēāļĢāļĻāļķāļāļĐāļē AI āļŸāļĢāļĩ AI Understanding āđ€āļ›āđ‡āļ™āļ­āļ‡āļ„āđŒāļāļĢāđ„āļĄāđˆāđāļŠāļ§āļ‡āļŦāļēāļœāļĨāļāļģāđ„āļĢ 501(c)(3) — āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē āđ„āļĄāđˆāļĄāļĩāļāļģāđāļžāļ‡āđ€āļ‡āļīāļ™, āļ•āļĨāļ­āļ”āđ„āļ› āļšāļĢāļīāļˆāļēāļ„

āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

What is Attention Rollout and Head Pruning?

āļāļēāļĢāđ€āļ›āļīāļ”āļ•āļąāļ§āļ„āļ§āļēāļĄāļŠāļ™āđƒāļˆāđ€āļ›āđ‡āļ™āļ§āļīāļ˜āļĩāļāļēāļĢāđƒāļ™āļāļēāļĢāļ•āļīāļ”āļ•āļēāļĄāļ§āđˆāļēāļ‚āđ‰āļ­āļĄāļđāļĨāđ„āļŦāļĨāļœāđˆāļēāļ™āđ€āļĨāđ€āļĒāļ­āļĢāđŒāļ„āļ§āļēāļĄāļŠāļ™āđƒāļˆāļ—āļĩāđˆāļ‹āđ‰āļ­āļ™āļāļąāļ™āļ‚āļ­āļ‡ Transformer āļ­āļĒāđˆāļēāļ‡āđ„āļĢ āđ€āļžāļ·āđˆāļ­āļ­āļ˜āļīāļšāļēāļĒāļ§āđˆāļēāđ‚āļ—āđ€āļ„āđ‡āļ™āļ­āļīāļ™āļžāļļāļ•āđƒāļ”āļĄāļĩāļ­āļīāļ—āļ˜āļīāļžāļĨāļ•āđˆāļ­āļāļēāļĢāļ„āļēāļ”āļāļēāļĢāļ“āđŒ āļāļēāļĢāļ•āļąāļ”āđāļ•āđˆāļ‡āļŠāđˆāļ§āļ™āļŦāļąāļ§āļˆāļ°āļĨāļšāļŠāđˆāļ§āļ™āļŦāļąāļ§āļ—āļĩāđˆāđƒāļŦāđ‰āļ„āļ§āļēāļĄāļŠāļ™āđƒāļˆāļ‹āļķāđˆāļ‡āļĄāļĩāļŠāđˆāļ§āļ™āļ—āļģāđƒāļŦāđ‰āđ‚āļĄāđ€āļ”āļĨāļĄāļĩāļ‚āļ™āļēāļ”āđ€āļĨāđ‡āļāļĨāļ‡āđ€āļĨāđ‡āļāļ™āđ‰āļ­āļĒāđ‚āļ”āļĒāđ„āļĄāđˆāļāļĢāļ°āļ—āļšāļ•āđˆāļ­āļ„āļ§āļēāļĄāđāļĄāđˆāļ™āļĒāļģ āļŠāļīāđˆāļ‡āđ€āļŦāļĨāđˆāļēāļ™āļĩāđ‰āļŠāđˆāļ§āļĒāđ€āļĢāļēāļ•āļĩāļ„āļ§āļēāļĄāđāļĨāļ°āļšāļĩāļšāļ­āļąāļ” Transformers

āđ€āļ›āđ‰āļēāļŦāļĄāļēāļĒāļ‚āļ­āļ‡āļāļēāļĢāđ€āļ›āļīāļ”āļ•āļąāļ§āļ„āļ§āļēāļĄāļŠāļ™āđƒāļˆāļ„āļ·āļ­āļ­āļ°āđ„āļĢ?

āļāļēāļĢāđ€āļ›āļīāļ”āļ•āļąāļ§āļˆāļ°āļ—āļ§āļĩāļ„āļđāļ“āļ„āļ§āļēāļĄāļŠāļ™āđƒāļˆāđāļšāļšāđ€āļĨāđ€āļĒāļ­āļĢāđŒ (āļžāļĢāđ‰āļ­āļĄāļŠāđˆāļ§āļ™āļ—āļĩāđˆāđ€āļŦāļĨāļ·āļ­) āđ€āļžāļ·āđˆāļ­āļ›āļĢāļ°āļĄāļēāļ“āļ§āđˆāļēāđ‚āļ—āđ€āļ„āđ‡āļ™āļ­āļīāļ™āļžāļļāļ•āđāļ•āđˆāļĨāļ°āļĢāļēāļĒāļāļēāļĢāļĄāļĩāļ­āļīāļ—āļ˜āļīāļžāļĨāļ•āđˆāļ­āđ€āļ­āļēāļ•āđŒāļžāļļāļ•āļ­āļĒāđˆāļēāļ‡āđ„āļĢ

āđ€āļŦāļ•āļļāđƒāļ”āđāļœāļ™āļ—āļĩāđˆāļ„āļ§āļēāļĄāļŠāļ™āđƒāļˆāļ‚āļ­āļ‡āđ€āļĨāđ€āļĒāļ­āļĢāđŒāđ€āļ”āļĩāļĒāļ§āļˆāļķāļ‡āļĄāļąāļāđ„āļĄāđˆāđ€āļžāļĩāļĒāļ‡āļžāļ­āļ—āļĩāđˆāļˆāļ°āļ­āļ˜āļīāļšāļēāļĒ

āđ€āļ™āļ·āđˆāļ­āļ‡āļˆāļēāļāļāļēāļĢāđƒāļŦāđ‰āđ€āļŦāļ•āļļāļœāļĨāļĄāļĩāļāļēāļĢāļāļĢāļ°āļˆāļēāļĒāđ„āļ›āļ•āļēāļĄāđ€āļĨāđ€āļĒāļ­āļĢāđŒāđāļĨāļ°āļŠāđˆāļ§āļ™āļŦāļąāļ§āļ—āļĩāđˆāļ‹āđ‰āļ­āļ™āļāļąāļ™ āđāļœāļ™āļ—āļĩāđˆāļ‚āļ­āļ‡āđ€āļĨāđ€āļĒāļ­āļĢāđŒāļŦāļ™āļķāđˆāļ‡āļˆāļķāļ‡āđ„āļĄāđˆāļŠāļēāļĄāļēāļĢāļ–āļšāļąāļ™āļ—āļķāļāļāļēāļĢāđ„āļŦāļĨāļ‚āļ­āļ‡āļ‚āđ‰āļ­āļĄāļđāļĨāļ—āļąāđ‰āļ‡āļŦāļĄāļ”āđ„āļ”āđ‰

āļāļēāļĢāđ€āļ›āļīāļ”āļ•āļąāļ§āļ„āļ§āļēāļĄāļŠāļ™āđƒāļˆāđ€āļžāļīāđˆāļĄāļ­āļ°āđ„āļĢāđƒāļŦāđ‰āļāļąāļšāđāļ•āđˆāļĨāļ°āđ€āļĄāļ—āļĢāļīāļāļ‹āđŒāļ„āļ§āļēāļĄāļŠāļ™āđƒāļˆāđ€āļžāļ·āđˆāļ­āļžāļīāļˆāļēāļĢāļ“āļēāļāļēāļĢāđ€āļŠāļ·āđˆāļ­āļĄāļ•āđˆāļ­āļ—āļĩāđˆāđ€āļŦāļĨāļ·āļ­

āļāļēāļĢāđ€āļžāļīāđˆāļĄāļ­āļ‡āļ„āđŒāļ›āļĢāļ°āļāļ­āļšāļ‚āđ‰āļ­āļĄāļđāļĨāļ›āļĢāļ°āļˆāļģāļ•āļąāļ§āļˆāļ°āļˆāļģāļĨāļ­āļ‡āļāļēāļĢāđ€āļŠāļ·āđˆāļ­āļĄāļ•āđˆāļ­āļāļēāļĢāļ‚āđ‰āļēāļĄāļ—āļĩāđˆāđ€āļŦāļĨāļ·āļ­āļ‹āļķāđˆāļ‡āļŠāđˆāļ§āļĒāđƒāļŦāđ‰āđ‚āļ—āđ€āļ„āđ‡āļ™āļŠāļēāļĄāļēāļĢāļ–āđ€āļāđ‡āļšāļ‚āđ‰āļ­āļĄāļđāļĨāļ‚āļ­āļ‡āļ•āļ™āđ€āļ­āļ‡āđ„āļ”āđ‰

āļāļēāļĢāļ§āļīāļˆāļąāļĒāđ€āļāļĩāđˆāļĒāļ§āļāļąāļšāļ„āļ§āļēāļĄāļŠāļ™āđƒāļˆāđāļšāļšāļŦāļĨāļēāļĒāļŦāļąāļ§āđ€āļ›āļīāļ”āđ€āļœāļĒāļ­āļ°āđ„āļĢāđ€āļāļĩāđˆāļĒāļ§āļāļąāļšāļ„āļ§āļēāļĄāļ‹āđ‰āļģāļ‹āđ‰āļ­āļ™āļ‚āļ­āļ‡āļĻāļĩāļĢāļĐāļ°

āļāļēāļĢāļĻāļķāļāļĐāļēāđ€āļŠāđˆāļ™ 'āļŠāļīāļšāļŦāļāļŦāļąāļ§āļ”āļĩāļāļ§āđˆāļēāļŦāļąāļ§āđ€āļ”āļĩāļĒāļ§āļˆāļĢāļīāļ‡āļŦāļĢāļ·āļ­' āđāļŠāļ”āļ‡āđƒāļŦāđ‰āđ€āļŦāđ‡āļ™āļ§āđˆāļēāļŦāļąāļ§āļŠāđˆāļ§āļ™āđƒāļŦāļāđˆāļ‹āđ‰āļģāļ‹āđ‰āļ­āļ™āđƒāļ™āļāļēāļĢāļ­āļ™āļļāļĄāļēāļ™

āđ‚āļ”āļĒāļ—āļąāđˆāļ§āđ„āļ›āļāļēāļĢāļ›āļĢāļ°āđ€āļĄāļīāļ™āļ„āļ§āļēāļĄāļŠāļģāļ„āļąāļāļ‚āļ­āļ‡āļĻāļĩāļĢāļĐāļ°āđƒāļ™āļāļēāļĢāļ•āļąāļ”āđāļ•āđˆāļ‡āļāļīāđˆāļ‡āđ€āļ›āđ‡āļ™āļ­āļĒāđˆāļēāļ‡āđ„āļĢ

āļ„āļ§āļēāļĄāļŠāļģāļ„āļąāļāļĄāļąāļāļˆāļ°āļ–āļđāļāđƒāļŦāđ‰āļ„āļ°āđāļ™āļ™āđ‚āļ”āļĒāđƒāļŠāđ‰āļāļēāļĢāđ„āļĨāđˆāļĢāļ°āļ”āļąāļšāļŠāļĩāļ‚āļ­āļ‡āļāļēāļĢāļŠāļđāļāđ€āļŠāļĩāļĒāđ‚āļ”āļĒāļ„āļģāļ™āļķāļ‡āļ–āļķāļ‡āļ•āļąāļ§āđāļ›āļĢāļĄāļēāļŠāđŒāļāļšāļ™āđāļ•āđˆāļĨāļ°āļŦāļąāļ§

āđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āļ•āđˆāļ­āđ„āļ›

āļ„āļģāđāļ™āļ°āļ™āļģāļ—āļĩāđˆāđ€āļāļĩāđˆāļĒāļ§āļ‚āđ‰āļ­āļ‡

āļ„āļģāđāļ™āļ°āļ™āļģāđ€āļžāļīāđˆāļĄāđ€āļ•āļīāļĄāļ—āļĩāđˆāđ€āļĨāļ·āļ­āļāļŠāļģāļŦāļĢāļąāļšāļŦāļąāļ§āļ‚āđ‰āļ­āļ™āļĩāđ‰

āļ•āđˆāļ­āđ„āļ›āļ„āļģāđāļ™āļ°āļ™āļģāļ•āđˆāļ­āđ„āļ›

āļ„āļ§āļēāļĄāļŠāļ™āđƒāļˆāđāļāļ‡āđāļšāļšāļŦāļĨāļēāļĒāļŦāļąāļ§

āļ āļēāļĐāļēāđ€āļ­āđ„āļ­

āļĢāļąāļšāđƒāļšāļĢāļąāļšāļĢāļ­āļ‡ AI āļŸāļĢāļĩāļŦāļĨāļąāļāļŠāļđāļ•āļĢāđāļĨāļ°āļāļēāļĢāļŠāļ­āļšāļŠāļąāđ‰āļ™ āđ† āļŸāļĢāļĩ āđ„āļĄāđˆāļĄāļĩāļ„āđˆāļēāđƒāļŠāđ‰āļˆāđˆāļēāļĒ āđ„āļĄāđˆāļĄāļĩāļšāļąāļ•āļĢāđ€āļ„āļĢāļ”āļīāļ• āļ›āļĢāļ°āļĄāļēāļ“ 2.5 āļŠāļąāđˆāļ§āđ‚āļĄāļ‡āđ€āļĢāļīāđˆāļĄāļ•āđ‰āļ™āļŸāļĢāļĩ →