āļāđāļāđāļāļāļģāđāļāļ°āļāļģāļāđāļāđāļ
āļāļ§āļēāļĄāļŠāļāđāļāđāļāļāđāļāļāļŦāļĨāļēāļĒāļŦāļąāļ§
āļ āļēāļĐāļēāđāļāđāļ
āļāļđāđāļĄāļ·āļāļāļēāļāđāļāļāļāļīāļ
āļāļēāļĢāđāļāļīāļāļāļąāļ§āļāļ§āļēāļĄāļŠāļāđāļāđāļāđāļāļ§āļīāļāļĩāļāļēāļĢāđāļāļāļēāļĢāļāļīāļāļāļēāļĄāļ§āđāļēāļāđāļāļĄāļđāļĨāđāļŦāļĨāļāđāļēāļāđāļĨāđāļĒāļāļĢāđāļāļ§āļēāļĄāļŠāļāđāļāļāļĩāđāļāđāļāļāļāļąāļāļāļāļ Transformer āļāļĒāđāļēāļāđāļĢ āđāļāļ·āđāļāļāļāļīāļāļēāļĒāļ§āđāļēāđāļāđāļāđāļāļāļīāļāļāļļāļāđāļāļĄāļĩāļāļīāļāļāļīāļāļĨāļāđāļāļāļēāļĢāļāļēāļāļāļēāļĢāļāđ
āļāļąāļāļāļģāđāļāļ°āļāļģāļāļĩāđāļāļĢāļĢāļĒāļēāļĒāđāļāļĒ AI · ~2 min
Head pruning removes attention heads that contribute little, shrinking models without hurting accuracy. Together they help us interpret and compress Transformers.
āļāļĢāļēāļāļŠāđāļāļāļĢāđāļĄāđāļĄāļāļĢāđāļŠāļāļĢāļ°āļāļēāļĒāđāļŦāļāļļāļāļĨāļāļāļāļāļ§āļāđāļāļēāđāļāļĒāļąāļāļŦāļąāļ§āļāļ§āļēāļĄāļŠāļāđāļāļāļģāļāļ§āļāļĄāļēāļāđāļāļŦāļĨāļēāļĒāļāļąāđāļ āļāļąāļāļāļąāđāļāđāļāļāļāļĩāđāļāļ§āļēāļĄāļŠāļāđāļāļāļāļāļāļąāđāļāđāļāļĩāļĒāļ§āļāļķāļāđāļĄāđāļāđāļāļĒāļāļāļāđāļĨāđāļēāđāļĢāļ·āđāļāļāļĢāļēāļ§āļāļąāđāļāļŦāļĄāļāđāļāđ āļāļēāļĢāđāļāļīāļāļāļąāļ§ Attention āļāļķāđāļāđāļāļīāļāļāļąāļ§āđāļāļĒ Abnar āđāļĨāļ° Zuidema āđāļāļāļĩ 2020 āđāļāđāđāļāļāļąāļāļŦāļēāļāļĩāđāļāđāļ§āļĒāļāļēāļĢāļāļđāļāđāļĄāļāļĢāļīāļāļāđāļāļ§āļēāļĄāļŠāļāđāļāļāļĩāļĨāļ°āļāļąāđāļ (āļŦāļĨāļąāļāļāļēāļāļāļīāļāļēāļĢāļāļēāļāļēāļĢāđāļāļ·āđāļāļĄāļāđāļāļāļĩāđāđāļŦāļĨāļ·āļ) āđāļāļ·āđāļāļāļĢāļ°āļĄāļēāļāļāļģāļāļ§āļāđāļāđāļāđāļāļāļīāļāļāļļāļāđāļāđāļĨāļ°āļĢāļēāļĒāļāļēāļĢāđāļāļāđāļēāļĒāļāļĩāđāļŠāļļāļāļāļĩāđāļŠāđāļāļāļĨāļāđāļāđāļāđāļāđāļāđāļāļēāļāđāļāļļāļāļāļĩāđāļāļģāļŦāļāļ āđāļĒāļāļāļēāļĢāļ§āļīāļāļąāļĒāđāļāđāļāļĄāļīāđāļāļĨāđāļĨāļ°āđāļāļ·āđāļāļāļĢāđāļ§āļĄāļāļēāļ 'āļŠāļīāļāļŦāļāļŦāļąāļ§āļāļĩāļāļ§āđāļēāļŦāļąāļ§āđāļāļĩāļĒāļ§āļāļĢāļīāļāļŦāļĢāļ·āļ' āđāļŠāļāļāđāļŦāđāđāļŦāđāļāļ§āđāļēāļŦāļąāļ§āļāļģāļāļ§āļāļĄāļēāļāļĄāļĩāļāļ§āļēāļĄāļāđāļģāļāđāļāļ: āđāļĻāļĐāļŠāđāļ§āļāļāļāļēāļāđāļŦāļāđāļŠāļēāļĄāļēāļĢāļāļāļąāļāļāļāļāđāļāđāđāļāđāļ§āļĨāļēāļāļāļļāļĄāļēāļāđāļāļĒāļŠāļđāļāđāļŠāļĩāļĒāļāļ§āļēāļĄāđāļĄāđāļāļĒāļģāđāļĨāđāļāļāđāļāļĒ āļāļēāļĢāļāļąāļāļŠāđāļ§āļāļŦāļąāļ§āļāļ°āļāļąāļāļāļąāļāļāļąāļāļŠāđāļ§āļāļŦāļąāļ§āļāļēāļĄāļāļ§āļēāļĄāļŠāļģāļāļąāļ āđāļāļĒāļĄāļąāļāđāļāđāļāļ°āđāļāļāļāļ§āļēāļĄāđāļ§āļāļēāļĄāļāļēāļĢāđāļĨāđāļĢāļ°āļāļąāļāļŠāļĩ āļāļēāļāļāļąāđāļāļāļķāļāļāļīāļāļāļąāļāļŠāđāļ§āļāļŦāļąāļ§āļāļĩāđāļĄāļĩāļāļĢāļ°āđāļĒāļāļāđāļāđāļāļĒāļāļĩāđāļŠāļļāļ āđāļāļāļāļīāļāļāļąāđāļāļŠāļāļāđāļāđāļāļŠāđāļ§āļāđāļŠāļĢāļīāļĄ: āļāļēāļĢāđāļāļīāļāļāļąāļ§āđāļāļĒāđāļŦāđāđāļŦāđāļāļ§āđāļēāļŠāđāļ§āļāđāļāļāļāļāđāļāļĢāļ·āļāļāđāļēāļĒāļĄāļĩāļāļ§āļēāļĄāļŠāļģāļāļąāļāļŠāļģāļŦāļĢāļąāļāļāļēāļĢāļāļĩāļāļ§āļēāļĄ āđāļĨāļ°āļāļēāļĢāļāļąāļāļŠāđāļ§āļāļāļĩāđāļāđāļģāļāđāļāļāđāļāļ·āđāļāļāļģāđāļŦāđāđāļāļāļāļģāļĨāļāļāļĄāļĩāļāļāļēāļāđāļĨāđāļāļĨāļāđāļĨāļ°āđāļĢāđāļ§āļāļķāđāļ
āļāļēāļĢāđāļŠāļāļāļ āļēāļāļāļģāđāļāļāļĢāļ°āđāļĒāļāļāļĩāđāļāļąāļ§āđāļĒāļāļāļĢāļ°āđāļ āļ Transformer āļāļēāļĻāļąāļĒ āđāļāļĒāļāļķāļāļāļ§āļēāļĄāļŠāļāđāļāđāļāļ·āđāļāđāļāđāļāđāļāđāļāđāļāļāļĩāđāļĄāļĩāļāļīāļāļāļīāļāļĨ
āļāļĩāļāļāļąāļāđāļĄāđāļāļĨ BERT āļŠāļģāļŦāļĢāļąāļāļāļēāļĢāđāļāđāļāļēāļāļāļāļĄāļ·āļāļāļ·āļāđāļāļĒāļāļąāļāļŠāđāļ§āļāļŦāļąāļ§āļāļāļāļāļ§āļēāļĄāļŠāļāđāļāļāļĩāđāļāđāļģāļāđāļāļāļāļāļāđāļāļ·āđāļāļĨāļāđāļ§āļĨāļēāđāļāļāļēāļĢāļāļāļāļŠāļāļāļ
āļāļēāļĢāļāļĢāļ§āļāļŠāļāļāđāļāļāļāļģāļĨāļāļāđāļāļ·āđāļāļŦāļēāļāļāļāļīāđāļāļĒāļāļēāļĢāļāļīāļāļāļēāļĄāļāļĢāļ°āđāļŠāļāļ§āļēāļĄāļŠāļāđāļāļāļēāļāļāļēāļĢāļāļģāļāļēāļĒāļāļĨāļąāļāđāļāļĒāļąāļāđāļāđāļāđāļāļāļīāļāļāļļāļāļāļĩāđāļĨāļ°āđāļāļĩāļĒāļāļāđāļāļ
āđāļĢāđāļāļāļēāļĢāļāļāļļāļĄāļēāļāđāļāļĢāļ°āļāļāļāļēāļĢāđāļāļĨāļāļēāļĢāļāļĨāļīāļāđāļāļĒāļāļēāļĢāļāļģāļŠāđāļ§āļāļŦāļąāļ§āļāļĩāđāļĄāļĩāļāļ§āļēāļĄāļŠāļģāļāļąāļāļāđāļģāļāļāļāļāļķāđāļāļĢāļ°āļāļļāļāđāļēāļāļāļēāļĢāđāļŦāđāļāļ°āđāļāļāļāļ§āļēāļĄāđāļ§
āđāļĄāļ·āđāļāđāļāļāļāļģāļĨāļāļāđāļāļīāļāđāļāļāļķāđāļ āļāļēāļĢāļāļāļļāļĄāļēāļāļāļĩāđāļĄāļĩāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļāđāļĨāļ°āļāļģāļāļāļīāļāļēāļĒāļāļĩāđāļāđāļēāđāļāļ·āđāļāļāļ·āļāļāđāļēāļāļāđāļĄāļĩāļāļ§āļēāļĄāđāļĢāđāļāļāđāļ§āļ āļāļēāļāļ§āđāļēāļāļēāļĢāļāļąāļāļŠāđāļ§āļāļŦāļąāļ§āļāļ°āļāļŠāļēāļāđāļāđāļēāļāļąāļāļāļēāļĢāļāļąāļāđāļāļāļĄāļĩāđāļāļĢāļāļŠāļĢāđāļēāļ āļāļēāļĢāļāļģāļŦāļāļāļāļĢāļīāļĄāļēāļ āđāļĨāļ°āļāļēāļĢāļāļĨāļąāđāļāđāļāđāļāļāđāđāļĨāļāđāļāļēāļĢāđāļāđāļāļēāļāļŠāļģāļŦāļĢāļąāļāļāļēāļĢāđāļŦāđāļāļĢāļīāļāļēāļĢāļāļĩāđāļāļāļāđāļĨāļ°āļāļģāļāļķāļāļāļķāļāļāđāļāļāļļāļ āļāļ§āļēāļĄāļŠāļēāļĄāļēāļĢāļāđāļāļāļēāļĢāļāļĩāļāļ§āļēāļĄāļĄāļĩāļāļ§āļēāļĄāļāđāļēāļ§āļŦāļāđāļēāđāļāđāļāļĨāļāļ§āđāļēāļāļēāļĢāđāļāļīāļāļāļąāļ§āļŠāļđāđāļāļĢāļ°āđāļŠāļāļ§āļēāļĄāļŠāļāđāļ āļ§āļīāļāļĩāļāļēāļĢāļāđāļ§āļāļāđāļģāļŦāļāļąāļāđāļāļāđāļĨāđāļĢāļ°āļāļąāļ āđāļĨāļ°āļāļēāļĢāļ§āļīāđāļāļĢāļēāļ°āļŦāđāļ§āļāļāļĢāļāļĨāđāļāļāļĩāđāļāļĢāļ§āļāļŠāļāļāļāļēāļĢāļāļģāļāļēāļāļāļāļāļŦāļąāļ§āđāļāđāļĨāļ°āļāļ āļāļ§āļēāļĄāļāļāļāļąāļāļāđāļēāļāļāļāļĢāļ°āđāļāļĩāļĒāļāļŠāļģāļŦāļĢāļąāļ AI āļāļĩāđāļāļāļīāļāļēāļĒāđāļāđāļāļ°āļāļĨāļąāļāļāļąāļāļāļēāļĢāļ§āļīāļāļąāļĒāļāļĩāđāđāļāļ·āđāļāļĄāđāļĒāļāļ§āđāļēāļŦāļąāļ§āļāđāļāđāļāļĄāļĩāļāļ§āļēāļĄāļŠāļģāļāļąāļāļāļąāļāļŠāļīāđāļāļāļĩāđāļāļ§āļāđāļāļēāļāļģāļāļ§āļāļāļĢāļīāļ
āļāļāļŦāļĄāļēāļĒāļāđāļēāļ§āļāļĢāļĩ
āđāļĢāļ·āđāļāļāļĢāļēāļ§ AI āļāļĩāđāļāļĢāļ§āļāļŠāļāļāđāļĨāđāļ§ 3 āđāļĢāļ·āđāļāļāļāļļāļāļ§āļąāļāļāļģāļāļēāļ āđāļāđāļē, āđāļāļĩāļĒāļāđāļāđāļāļ āļēāļĐāļēāļāļąāļāļāļĪāļĐāļāļĢāļĢāļĄāļāļē āļāļĢāļĩāļāļĨāļāļāđāļ āđāļĄāđāļĄāļĩāđāļāļĐāļāļē
āļāļĩāđāļĄāļĨāļŦāļāļķāđāļāļāļāļąāļāļāļļāļāļ§āļąāļāļāļģāļāļēāļ āļĒāļāđāļĨāļīāļāļāļēāļĢāļŠāļĄāļąāļāļĢāđāļāļāļĨāļīāļāđāļāļĩāļĒāļ§ āđāļĢāļēāđāļĄāđāđāļāļĒāļāļēāļĒāļŦāļĢāļ·āļāđāļāļĢāđāļāļĩāđāļāļĒāļđāđāļāļĩāđāļĄāļĨāļāļāļāļāļļāļ
āļāļāļŠāļāļāļāļąāļ§āđāļāļ
āļāđāļāđāļŠāļāļāđāļāļ°āļāļąāļāļāļĩāļŠāļģāļŦāļĢāļąāļāļāļļāļāļāļģāļāļāļ āđāļĨāļ°āđāļāļĢāļąāļāļĢāļāļāļāļĩāđāļŠāļēāļĄāļēāļĢāļāđāļāļĢāđāđāļāđāļāļĢāđāļāļĄ ID āļāļĩāđāļāļĢāļ§āļāļŠāļāļāđāļāđāđāļĄāļ·āđāļāļāļļāļāļāđāļēāļāļŦāļĨāļąāļāļŠāļđāļāļĢ
āļŠāļāļąāļāļŠāļāļļāļāļāļēāļĢāļĻāļķāļāļĐāļē AI āļāļĢāļĩ AI Understanding āđāļāđāļāļāļāļāđāļāļĢāđāļĄāđāđāļŠāļ§āļāļŦāļēāļāļĨāļāļģāđāļĢ 501(c)(3) â āđāļĄāđāļĄāļĩāđāļāļĐāļāļē āđāļĄāđāļĄāļĩāļāļģāđāļāļāđāļāļīāļ, āļāļĨāļāļāđāļ āļāļĢāļīāļāļēāļ
āļāļēāļĢāđāļāļīāļāļāļąāļ§āļāļ§āļēāļĄāļŠāļāđāļāđāļāđāļāļ§āļīāļāļĩāļāļēāļĢāđāļāļāļēāļĢāļāļīāļāļāļēāļĄāļ§āđāļēāļāđāļāļĄāļđāļĨāđāļŦāļĨāļāđāļēāļāđāļĨāđāļĒāļāļĢāđāļāļ§āļēāļĄāļŠāļāđāļāļāļĩāđāļāđāļāļāļāļąāļāļāļāļ Transformer āļāļĒāđāļēāļāđāļĢ āđāļāļ·āđāļāļāļāļīāļāļēāļĒāļ§āđāļēāđāļāđāļāđāļāļāļīāļāļāļļāļāđāļāļĄāļĩāļāļīāļāļāļīāļāļĨāļāđāļāļāļēāļĢāļāļēāļāļāļēāļĢāļāđ āļāļēāļĢāļāļąāļāđāļāđāļāļŠāđāļ§āļāļŦāļąāļ§āļāļ°āļĨāļāļŠāđāļ§āļāļŦāļąāļ§āļāļĩāđāđāļŦāđāļāļ§āļēāļĄāļŠāļāđāļāļāļķāđāļāļĄāļĩāļŠāđāļ§āļāļāļģāđāļŦāđāđāļĄāđāļāļĨāļĄāļĩāļāļāļēāļāđāļĨāđāļāļĨāļāđāļĨāđāļāļāđāļāļĒāđāļāļĒāđāļĄāđāļāļĢāļ°āļāļāļāđāļāļāļ§āļēāļĄāđāļĄāđāļāļĒāļģ āļŠāļīāđāļāđāļŦāļĨāđāļēāļāļĩāđāļāđāļ§āļĒāđāļĢāļēāļāļĩāļāļ§āļēāļĄāđāļĨāļ°āļāļĩāļāļāļąāļ Transformers
āļāļēāļĢāđāļāļīāļāļāļąāļ§āļāļ°āļāļ§āļĩāļāļđāļāļāļ§āļēāļĄāļŠāļāđāļāđāļāļāđāļĨāđāļĒāļāļĢāđ (āļāļĢāđāļāļĄāļŠāđāļ§āļāļāļĩāđāđāļŦāļĨāļ·āļ) āđāļāļ·āđāļāļāļĢāļ°āļĄāļēāļāļ§āđāļēāđāļāđāļāđāļāļāļīāļāļāļļāļāđāļāđāļĨāļ°āļĢāļēāļĒāļāļēāļĢāļĄāļĩāļāļīāļāļāļīāļāļĨāļāđāļāđāļāļēāļāđāļāļļāļāļāļĒāđāļēāļāđāļĢ
āđāļāļ·āđāļāļāļāļēāļāļāļēāļĢāđāļŦāđāđāļŦāļāļļāļāļĨāļĄāļĩāļāļēāļĢāļāļĢāļ°āļāļēāļĒāđāļāļāļēāļĄāđāļĨāđāļĒāļāļĢāđāđāļĨāļ°āļŠāđāļ§āļāļŦāļąāļ§āļāļĩāđāļāđāļāļāļāļąāļ āđāļāļāļāļĩāđāļāļāļāđāļĨāđāļĒāļāļĢāđāļŦāļāļķāđāļāļāļķāļāđāļĄāđāļŠāļēāļĄāļēāļĢāļāļāļąāļāļāļķāļāļāļēāļĢāđāļŦāļĨāļāļāļāļāđāļāļĄāļđāļĨāļāļąāđāļāļŦāļĄāļāđāļāđ
āļāļēāļĢāđāļāļīāđāļĄāļāļāļāđāļāļĢāļ°āļāļāļāļāđāļāļĄāļđāļĨāļāļĢāļ°āļāļģāļāļąāļ§āļāļ°āļāļģāļĨāļāļāļāļēāļĢāđāļāļ·āđāļāļĄāļāđāļāļāļēāļĢāļāđāļēāļĄāļāļĩāđāđāļŦāļĨāļ·āļāļāļķāđāļāļāđāļ§āļĒāđāļŦāđāđāļāđāļāđāļāļŠāļēāļĄāļēāļĢāļāđāļāđāļāļāđāļāļĄāļđāļĨāļāļāļāļāļāđāļāļāđāļāđ
āļāļēāļĢāļĻāļķāļāļĐāļēāđāļāđāļ 'āļŠāļīāļāļŦāļāļŦāļąāļ§āļāļĩāļāļ§āđāļēāļŦāļąāļ§āđāļāļĩāļĒāļ§āļāļĢāļīāļāļŦāļĢāļ·āļ' āđāļŠāļāļāđāļŦāđāđāļŦāđāļāļ§āđāļēāļŦāļąāļ§āļŠāđāļ§āļāđāļŦāļāđāļāđāļģāļāđāļāļāđāļāļāļēāļĢāļāļāļļāļĄāļēāļ
āļāļ§āļēāļĄāļŠāļģāļāļąāļāļĄāļąāļāļāļ°āļāļđāļāđāļŦāđāļāļ°āđāļāļāđāļāļĒāđāļāđāļāļēāļĢāđāļĨāđāļĢāļ°āļāļąāļāļŠāļĩāļāļāļāļāļēāļĢāļŠāļđāļāđāļŠāļĩāļĒāđāļāļĒāļāļģāļāļķāļāļāļķāļāļāļąāļ§āđāļāļĢāļĄāļēāļŠāđāļāļāļāđāļāđāļĨāļ°āļŦāļąāļ§
āđāļĢāļĩāļĒāļāļĢāļđāđāļāđāļāđāļ
āļāļģāđāļāļ°āļāļģāđāļāļīāđāļĄāđāļāļīāļĄāļāļĩāđāđāļĨāļ·āļāļāļŠāļģāļŦāļĢāļąāļāļŦāļąāļ§āļāđāļāļāļĩāđ
āļāđāļāđāļāļāļģāđāļāļ°āļāļģāļāđāļāđāļ
āļāļ§āļēāļĄāļŠāļāđāļāđāļāļāđāļāļāļŦāļĨāļēāļĒāļŦāļąāļ§
āļ āļēāļĐāļēāđāļāđāļ