āļ„āļđāđˆāļĄāļ·āļ­āļ—āļēāļ‡āđ€āļ—āļ„āļ™āļīāļ„

āļāļēāļĢāļŠāļļāđˆāļĄāļ•āļąāļ§āļ­āļĒāđˆāļēāļ‡āļ•āļēāļĄāļāļģāļŦāļ™āļ”āļāļēāļĢāđāļĨāļ°āļ„āļ§āļēāļĄāļĨāļģāđ€āļ­āļĩāļĒāļ‡āļ‚āļ­āļ‡āļāļēāļĢāļŠāļąāļĄāļœāļąāļŠ

Exposure Bias āļ„āļ·āļ­āļŠāđˆāļ­āļ‡āļ§āđˆāļēāļ‡āļ—āļĩāđˆāļ›āļĢāļēāļāļāļ‚āļķāđ‰āļ™āđ€āļĄāļ·āđˆāļ­āđāļšāļšāļˆāļģāļĨāļ­āļ‡āļ—āļĩāđˆāđ„āļ”āđ‰āļĢāļąāļšāļāļēāļĢāļāļķāļāđ€āļ‰āļžāļēāļ°āļ„āļģāļ™āļģāļŦāļ™āđ‰āļēāļ—āļĩāđˆāļŠāļĄāļšāļđāļĢāļ“āđŒāđāļšāļšāđ€āļ—āđˆāļēāļ™āļąāđ‰āļ™ āļˆāļ°āļ•āđ‰āļ­āļ‡āļžāļīāļˆāļēāļĢāļ“āļēāđ€āļ‡āļ·āđˆāļ­āļ™āđ„āļ‚āđƒāļ™āļœāļĨāļĨāļąāļžāļ˜āđŒāļ—āļĩāđˆāđ„āļĄāđˆāļŠāļĄāļšāļđāļĢāļ“āđŒāļ‚āļ­āļ‡āļ•āļąāļ§āđ€āļ­āļ‡

āļŸāļąāļ‡āļ„āļģāđāļ™āļ°āļ™āļģāļ™āļĩāđ‰āļšāļĢāļĢāļĒāļēāļĒāđ‚āļ”āļĒ AI · ~2 min

āļšāļ™āļŦāļ™āđ‰āļēāļ™āļĩāđ‰āļ­āđˆāļēāļ™ 2 āļ™āļēāļ—āļĩ
  1. āļ āļēāļžāļĢāļ§āļĄ
  2. āđ€āļˆāļēāļ°āļĨāļķāļ
  3. āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡
  4. āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡āļāļēāļĢāļŠāļļāđˆāļĄāļ•āļąāļ§āļ­āļĒāđˆāļēāļ‡āļ•āļēāļĄāļāļģāļŦāļ™āļ”āļāļēāļĢāđāļĨāļ°āļ„āļ§āļēāļĄāļĨāļģāđ€āļ­āļĩāļĒāļ‡āļ‚āļ­āļ‡āļāļēāļĢāļŠāļąāļĄāļœāļąāļŠ
  5. āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī
  6. āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›
  7. āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

āļ āļēāļžāļĢāļ§āļĄ

āļāļēāļĢāļŠāļļāđˆāļĄāļ•āļąāļ§āļ­āļĒāđˆāļēāļ‡āļ•āļēāļĄāļāđāļēāļŦāļ™āļ”āđ€āļ§āļĨāļēāđ€āļ›āđ‡āļ™āļŦāļĨāļąāļāļŠāļđāļ•āļĢāļ—āļĩāđˆāļ„āđˆāļ­āļĒ āđ† āļ›āļīāļ”āļŠāđˆāļ­āļ‡āļ§āđˆāļēāļ‡āļ™āļąāđ‰āļ™

āđ€āļˆāļēāļ°āļĨāļķāļ

āđ‚āļĄāđ€āļ”āļĨāļ—āļĩāđˆāđ„āļ”āđ‰āļĢāļąāļšāļāļēāļĢāļāļķāļāđ‚āļ”āļĒāļ„āļĢāļđāļšāļąāļ‡āļ„āļąāļšāļˆāļ°āļĄāļ­āļ‡āļ§āđˆāļēāđ‚āļ—āđ€āļ„āđ‡āļ™āļ„āļ§āļēāļĄāļˆāļĢāļīāļ‡āļ āļēāļ„āļžāļ·āđ‰āļ™āļ”āļīāļ™āđ€āļ›āđ‡āļ™āļšāļĢāļīāļšāļ—āđ€āļ—āđˆāļēāļ™āļąāđ‰āļ™ āđāļ•āđˆāđƒāļ™āļŠāđˆāļ§āļ‡āđ€āļ§āļĨāļēāđāļŦāđˆāļ‡āļāļēāļĢāļŠāļĢāđ‰āļēāļ‡ āđ‚āļĄāđ€āļ”āļĨāļˆāļ°āļ›āđ‰āļ­āļ™āļāļĨāļąāļšāļāļēāļĢāļ—āļģāļ™āļēāļĒāļ‚āļ­āļ‡āļ•āļ™āđ€āļ­āļ‡ āđ€āļĄāļ·āđˆāļ­āļ‚āđ‰āļ­āļœāļīāļ”āļžāļĨāļēāļ”āļ•āļąāđ‰āļ‡āđāļ•āđˆāđ€āļ™āļīāđˆāļ™āđ† āļ—āļģāđƒāļŦāđ‰āđ‚āļĄāđ€āļ”āļĨāļ­āļĒāļđāđˆāđƒāļ™āļŠāļ–āļēāļ™āļ°āļ—āļĩāđˆāđ„āļĄāđˆāđ€āļ„āļĒāļžāļšāļĢāļ°āļŦāļ§āđˆāļēāļ‡āļāļēāļĢāļāļķāļ āļ‚āđ‰āļ­āļœāļīāļ”āļžāļĨāļēāļ”āļ­āļēāļˆāļāļĨāļēāļĒāđ€āļ›āđ‡āļ™āļāđ‰āļ­āļ™āļŦāļīāļĄāļ° āļ‹āļķāđˆāļ‡āđ€āļ›āđ‡āļ™āđ‚āļŦāļĄāļ”āļ„āļ§āļēāļĄāļĨāđ‰āļĄāđ€āļŦāļĨāļ§āļ—āļĩāđˆāđ€āļĢāļĩāļĒāļāļ§āđˆāļē Exposure Bias āļāļēāļĢāļŠāļļāđˆāļĄāļ•āļąāļ§āļ­āļĒāđˆāļēāļ‡āļ•āļēāļĄāļāļģāļŦāļ™āļ”āđ€āļ§āļĨāļēāļ‹āļķāđˆāļ‡āđāļ™āļ°āļ™āļģāđ‚āļ”āļĒ Bengio āđāļĨāļ°āđ€āļžāļ·āđˆāļ­āļ™āļĢāđˆāļ§āļĄāļ‡āļēāļ™āđƒāļ™āļ›āļĩ 2558 āļˆāļąāļ”āļāļēāļĢāđ€āļĢāļ·āđˆāļ­āļ‡āļ™āļĩāđ‰āļ”āđ‰āļ§āļĒāļāļēāļĢāļžāļĨāļīāļāđ€āļŦāļĢāļĩāļĒāļāđƒāļ™āđāļ•āđˆāļĨāļ°āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļāļēāļĢāļ–āļ­āļ”āļĢāļŦāļąāļŠāļĢāļ°āļŦāļ§āđˆāļēāļ‡āļāļēāļĢāļāļķāļāļ­āļšāļĢāļĄ: āļ”āđ‰āļ§āļĒāļ„āļ§āļēāļĄāļ™āđˆāļēāļˆāļ°āđ€āļ›āđ‡āļ™āļšāļēāļ‡āļ›āļĢāļ°āļāļēāļĢāļ—āļĩāđˆāļĄāļąāļ™āļˆāļ°āļ›āđ‰āļ­āļ™āđ‚āļ—āđ€āļ„āđ‡āļ™āļˆāļĢāļīāļ‡ (āļāļēāļĢāļšāļąāļ‡āļ„āļąāļšāļ‚āļ­āļ‡āļ„āļĢāļđ) āļĄāļīāļ‰āļ°āļ™āļąāđ‰āļ™āļˆāļ°āļ›āđ‰āļ­āļ™āļāļēāļĢāļ—āļģāļ™āļēāļĒāļ•āļąāļ§āļ­āļĒāđˆāļēāļ‡āļ‚āļ­āļ‡āđ‚āļĄāđ€āļ”āļĨāđ€āļ­āļ‡ āļ„āļ§āļēāļĄāļ™āđˆāļēāļˆāļ°āđ€āļ›āđ‡āļ™āļ‚āļ­āļ‡āļāļēāļĢāđƒāļŠāđ‰āļ„āļ§āļēāļĄāļˆāļĢāļīāļ‡āļ āļēāļ„āļžāļ·āđ‰āļ™āļ”āļīāļ™āđ€āļĢāļīāđˆāļĄāļ•āđ‰āļ™āļ—āļĩāđˆāđƒāļāļĨāđ‰āļˆāļļāļ”āļŦāļ™āļķāđˆāļ‡āđāļĨāļ°āļĨāļ”āļĨāļ‡āđ€āļŦāļ™āļ·āļ­āļāļēāļĢāļāļķāļāļœāđˆāļēāļ™āļāļģāļŦāļ™āļ”āđ€āļ§āļĨāļē (āđ€āļŠāļīāļ‡āđ€āļŠāđ‰āļ™ āđ€āļ­āđ‡āļāļ‹āđŒāđ‚āļ›āđ€āļ™āļ™āđ€āļŠāļĩāļĒāļĨ āļŦāļĢāļ·āļ­āļ‹āļīāļāļĄāļ­āļĒāļ”āđŒāļœāļāļœāļąāļ™) āļ”āļąāļ‡āļ™āļąāđ‰āļ™āđāļšāļšāļˆāļģāļĨāļ­āļ‡āļˆāļķāļ‡āđ„āļ”āđ‰āļĢāļąāļšāļāļēāļĢāđ€āļ›āļīāļ”āđ€āļœāļĒāļœāļĨāļĨāļąāļžāļ˜āđŒāļ‚āļ­āļ‡āļ•āļąāļ§āđ€āļ­āļ‡āļ­āļĒāđˆāļēāļ‡āļ•āđˆāļ­āđ€āļ™āļ·āđˆāļ­āļ‡ āđāļĨāļ°āđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āļ—āļĩāđˆāļˆāļ°āļŸāļ·āđ‰āļ™āļ•āļąāļ§āļˆāļēāļāļ‚āđ‰āļ­āļœāļīāļ”āļžāļĨāļēāļ”

āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡

āļāļķāļāļāļ™āđ‚āļĄāđ€āļ”āļĨāļ„āļģāļšāļĢāļĢāļĒāļēāļĒāļ āļēāļžāļ”āđ‰āļ§āļĒāļāļēāļĢāļŠāļļāđˆāļĄāļ•āļąāļ§āļ­āļĒāđˆāļēāļ‡āļ•āļēāļĄāļāļģāļŦāļ™āļ”āđ€āļ§āļĨāļē āđ€āļžāļ·āđˆāļ­āđƒāļŦāđ‰āđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āļ—āļĩāđˆāļˆāļ°āļ”āļģāđ€āļ™āļīāļ™āļ•āđˆāļ­āđ„āļ›āļ­āļĒāđˆāļēāļ‡āļŠāļ‡āđˆāļēāļ‡āļēāļĄāļŦāļĨāļąāļ‡āļˆāļēāļāļ„āļģāļ—āļģāļ™āļēāļĒāļ—āļĩāđˆāđ„āļĄāđˆāļŠāļĄāļšāļđāļĢāļ“āđŒ

āļāļēāļĢāļĨāļ”āļ„āļ§āļēāļĄāļ™āđˆāļēāļˆāļ°āđ€āļ›āđ‡āļ™āđƒāļ™āļāļēāļĢāļšāļąāļ‡āļ„āļąāļšāļ„āļĢāļđāļ”āđ‰āļ§āļĒāļāļģāļŦāļ™āļ”āļāļēāļĢāļœāļāļœāļąāļ™-āļ‹āļīāļāļĄāļ­āļĒāļ”āđŒāđƒāļ™āļĢāļ°āļšāļšāļāļēāļĢāđāļ›āļĨāļ”āđ‰āļ§āļĒāđ€āļ„āļĢāļ·āđˆāļ­āļ‡āļ›āļĢāļ°āļŠāļēāļ—

āļāļēāļĢāļ§āļīāļ™āļīāļˆāļ‰āļąāļĒāđāļŠāļ—āļšāļ­āļ—āļ—āļĩāđˆāļĨāđˆāļ­āļ‡āļĨāļ­āļĒāđ„āļ›āđƒāļ™āļĨāļđāļ›āļ—āļĩāđˆāđ„āļĄāđˆāļ•āđˆāļ­āđ€āļ™āļ·āđˆāļ­āļ‡āļāļąāļ™āļ‹āļķāđˆāļ‡āđ€āļ›āđ‡āļ™āļ­āļēāļāļēāļĢāļ­āļ„āļ•āļīāļˆāļēāļāļāļēāļĢāļŠāļąāļĄāļœāļąāļŠāļˆāļēāļāļāļēāļĢāļšāļąāļ‡āļ„āļąāļšāļ‚āļ­āļ‡āļ„āļĢāļđāļĨāđ‰āļ§āļ™āđ†

āļāļēāļĢāđ€āļ›āļĢāļĩāļĒāļšāđ€āļ—āļĩāļĒāļšāļ„āļ°āđāļ™āļ™ BLEU āļ‚āļ­āļ‡āļœāļđāđ‰āļŠāļĢāļļāļ›āļ—āļĩāđˆāđ„āļ”āđ‰āļĢāļąāļšāļāļēāļĢāļāļķāļāļ­āļšāļĢāļĄāđ‚āļ”āļĒāļĄāļĩāļāļēāļĢāļšāļąāļ‡āļ„āļąāļšāļ„āļĢāļđāđ€āļ•āđ‡āļĄāļĢāļđāļ›āđāļšāļš āļāļąāļšāļ„āļ°āđāļ™āļ™āļ‚āļ­āļ‡āļœāļđāđ‰āļ—āļĩāđˆāđ„āļ”āđ‰āļĢāļąāļšāļāļēāļĢāļāļķāļāļ­āļšāļĢāļĄāļ—āļĩāđˆāļĄāļĩāļāļēāļĢāļŠāļļāđˆāļĄāļ•āļąāļ§āļ­āļĒāđˆāļēāļ‡āļ•āļēāļĄāļāļģāļŦāļ™āļ”āļāļēāļĢ

āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡āļāļēāļĢāļŠāļļāđˆāļĄāļ•āļąāļ§āļ­āļĒāđˆāļēāļ‡āļ•āļēāļĄāļāļģāļŦāļ™āļ”āļāļēāļĢāđāļĨāļ°āļ„āļ§āļēāļĄāļĨāļģāđ€āļ­āļĩāļĒāļ‡āļ‚āļ­āļ‡āļāļēāļĢāļŠāļąāļĄāļœāļąāļŠ

āļŠāļģāļŦāļĢāļąāļšāđ‚āļĄāđ€āļ”āļĨāļ āļēāļĐāļē Transformer āļ‚āļ™āļēāļ”āđƒāļŦāļāđˆ āļĄāļĩāļāļēāļĢāļ–āļāđ€āļ–āļĩāļĒāļ‡āļ–āļķāļ‡āļœāļĨāļāļĢāļ°āļ—āļšāđƒāļ™āļ—āļēāļ‡āļ›āļāļīāļšāļąāļ•āļīāļ‚āļ­āļ‡ Exposure Bias āđ€āļ™āļ·āđˆāļ­āļ‡āļˆāļēāļāļ‚āđ‰āļ­āļĄāļđāļĨāļ‚āļ™āļēāļ”āđƒāļŦāļāđˆāđāļĨāļ°āļ‚āļ™āļēāļ”āļ—āļĩāđˆāļˆāļģāļāļąāļ” āđāļĨāļ°āļ§āļīāļ˜āļĩāļāļēāļĢāļ•āđˆāļēāļ‡āđ† āđ€āļŠāđˆāļ™ RLHF āļ›āļĢāļąāļšāļžāļĪāļ•āļīāļāļĢāļĢāļĄāļāļēāļĢāļŠāļĢāđ‰āļēāļ‡āđƒāļŦāļĄāđˆāđ‚āļ”āļĒāļ•āļĢāļ‡ āļ­āļĒāđˆāļēāļ‡āđ„āļĢāļāđ‡āļ•āļēāļĄ āļāļēāļĢāļŠāļļāđˆāļĄāļ•āļąāļ§āļ­āļĒāđˆāļēāļ‡āļ•āļēāļĄāļāļģāļŦāļ™āļ”āđ€āļ§āļĨāļēāđāļĨāļ°āļāļēāļĢāļŠāļ·āļšāļ—āļ­āļ”āļĒāļąāļ‡āļ„āļ‡āđ€āļāļĩāđˆāļĒāļ§āļ‚āđ‰āļ­āļ‡āļāļąāļšāđ‚āļĄāđ€āļ”āļĨāļ‚āļ™āļēāļ”āđ€āļĨāđ‡āļ āļāļēāļĢāļŠāļĢāđ‰āļēāļ‡āđāļšāļšāļĄāļĩāđ‚āļ„āļĢāļ‡āļŠāļĢāđ‰āļēāļ‡ āđāļĨāļ°āļ‡āļēāļ™āļ—āļĩāđˆāļ•āđ‰āļ­āļ‡āļāļēāļĢāļ„āļ§āļēāļĄāđāļĄāđˆāļ™āļĒāļģāļ—āļĩāđˆāđ€āļ‚āđ‰āļĄāļ‡āļ§āļ” āļ‡āļēāļ™āđƒāļ™āļ­āļ™āļēāļ„āļ•āļœāļŠāļĄāļœāļŠāļēāļ™āļāļēāļĢāđ€āļ›āļīāļ”āļĢāļąāļšāļŦāļĨāļąāļāļŠāļđāļ•āļĢ āļ§āļąāļ•āļ–āļļāļ›āļĢāļ°āļŠāļ‡āļ„āđŒāļ‚āļ­āļ‡āļĨāļģāļ”āļąāļšāļĢāļđāļ›āđāļšāļšāļāļēāļĢāđ€āļŠāļĢāļīāļĄāļāļģāļĨāļąāļ‡ āđāļĨāļ°āļāļēāļĢāļāļķāļāļ­āļšāļĢāļĄāļ—āļĩāđˆāļĄāļĩāļ„āļ§āļēāļĄāđ€āļŠāļĩāđˆāļĒāļ‡āļ‚āļąāđ‰āļ™āļ•āđˆāļģ āđ€āļžāļ·āđˆāļ­āļ›āļĢāļąāļšāļ§āļīāļ˜āļĩāļāļēāļĢāļāļķāļāļ­āļšāļĢāļĄāđāļšāļšāļˆāļģāļĨāļ­āļ‡āđƒāļŦāđ‰āļŠāļ­āļ”āļ„āļĨāđ‰āļ­āļ‡āļāļąāļšāļ§āļīāļ˜āļĩāļ–āļ­āļ”āļĢāļŦāļąāļŠāļˆāļĢāļīāļ‡

āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī

āļ—āļģāđ„āļĄāļĄāļąāļ™āļ–āļķāļ‡āļŠāļģāļ„āļąāļ

  • āļ•āđ‰āļ™āļ—āļļāļ™āđāļĨāļ°āļ‡āļšāļ›āļĢāļ°āļĄāļēāļ“. āļāļēāļĢāļ•āļąāļ”āļŠāļīāļ™āđƒāļˆāļ”āđ‰āļēāļ™āļŠāļ–āļēāļ›āļąāļ•āļĒāļāļĢāļĢāļĄāļ‚āļąāļšāđ€āļ„āļĨāļ·āđˆāļ­āļ™āļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāđāļĨāļ°āļ•āđ‰āļ™āļ—āļļāļ™āļāļēāļĢāļ”āļģāđ€āļ™āļīāļ™āļ‡āļēāļ™āđ€āļ›āđ‡āļ™āđ€āļ§āļĨāļēāļŦāļĨāļēāļĒāļ›āļĩ
  • āļāļēāļĢāļ•āļąāļ”āļŠāļīāļ™āđƒāļˆāļ—āļĩāđˆāļŠāļąāļ”āđ€āļˆāļ™āļĒāļīāđˆāļ‡āļ‚āļķāđ‰āļ™. āļāļēāļĢāļĻāļķāļāļĐāļēāļ”āđ‰āļēāļ™āđ€āļ—āļ„āļ™āļīāļ„āļŠāđˆāļ§āļĒāđƒāļŦāđ‰āļ—āļĩāļĄāđ€āļĨāļ·āļ­āļāļāļĨāļļāđˆāļĄāļ—āļĩāđˆāđ€āļŦāļĄāļēāļ°āļŠāļĄ āđ„āļĄāđˆāđƒāļŠāđˆāđāļ„āđˆāļāļĨāļļāđˆāļĄāđƒāļŦāļĄāđˆāļĨāđˆāļēāļŠāļļāļ”
  • āļāļēāļĢāļ„āļ§āļšāļ„āļļāļĄāļ„āļļāļ“āļ āļēāļž. āļ•āļąāļ§āđ€āļĨāļ·āļ­āļāļ—āļēāļ‡āļ§āļīāļĻāļ§āļāļĢāļĢāļĄāļ—āļĩāđˆāļ”āļĩāļāļ§āđˆāļēāļˆāļ°āļŠāđˆāļ§āļĒāļĨāļ”āđ€āļŦāļ•āļļāļāļēāļĢāļ“āđŒāļ”āđ‰āļēāļ™āļ„āļ§āļēāļĄāļ™āđˆāļēāđ€āļŠāļ·āđˆāļ­āļ–āļ·āļ­āđƒāļ™āļāļēāļĢāļœāļĨāļīāļ•

āļĢāļ°āļ§āļąāļ‡

  • āļāļēāļĢāđ€āļžāļīāđˆāļĄāļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāđ€āļāļ“āļ‘āđŒāļĄāļēāļ•āļĢāļāļēāļ™āļŦāļ™āļķāđˆāļ‡āļĢāļēāļĒāļāļēāļĢāļŠāļēāļĄāļēāļĢāļ–āļ‹āđˆāļ­āļ™āļˆāļļāļ”āļ­āđˆāļ­āļ™āļ‚āļ­āļ‡āļĢāļ°āļšāļšāđƒāļ™āļ§āļ‡āļāļ§āđ‰āļēāļ‡āđ„āļ”āđ‰
  • āļ•āđ‰āļ™āļ—āļļāļ™āđ‚āļ„āļĢāļ‡āļŠāļĢāđ‰āļēāļ‡āļžāļ·āđ‰āļ™āļāļēāļ™āđāļĨāļ°āļāļēāļĢāļšāļģāļĢāļļāļ‡āļĢāļąāļāļĐāļēāļĄāļąāļāļ–āļđāļāļ›āļĢāļ°āđ€āļĄāļīāļ™āļ•āđˆāļģāđ„āļ›
  • āļŠāđˆāļ­āļ‡āļ§āđˆāļēāļ‡āļ”āđ‰āļēāļ™āļ„āļ§āļēāļĄāļ›āļĨāļ­āļ”āļ āļąāļĒāđāļĨāļ°āļ„āļ§āļēāļĄāļŠāļēāļĄāļēāļĢāļ–āđƒāļ™āļāļēāļĢāļŠāļąāļ‡āđ€āļāļ•āļŠāļēāļĄāļēāļĢāļ–āđ€āļžāļīāđˆāļĄāļ‚āļķāđ‰āļ™āđ„āļ”āđ‰āđ€āļĄāļ·āđˆāļ­āļĢāļ°āļšāļšāļĄāļĩāļ„āļ§āļēāļĄāļ‹āļąāļšāļ‹āđ‰āļ­āļ™āļĄāļēāļāļ‚āļķāđ‰āļ™

āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļ•āđˆāļ­āđ„āļ›

  1. āļāļģāļŦāļ™āļ”āđ€āļ›āđ‰āļēāļŦāļĄāļēāļĒāđ€āļ§āļĨāļēāđāļāļ‡ āļ„āļļāļ“āļ āļēāļž āđāļĨāļ°āļ•āđ‰āļ™āļ—āļļāļ™āļāđˆāļ­āļ™āļ™āļģāđ„āļ›āđƒāļŠāđ‰āļ‡āļēāļ™
  2. āđ€āļāļ“āļ‘āđŒāļĄāļēāļ•āļĢāļāļēāļ™āļ āļēāļĒāđƒāļ•āđ‰āļŠāļ āļēāļ§āļ°āđ‚āļŦāļĨāļ”āđāļĨāļ°āļ‚āđ‰āļ­āļĄāļđāļĨāļˆāļĢāļīāļ‡
  3. āļāļēāļĢāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ€āļ„āļĢāļ·āđˆāļ­āļ‡āļĄāļ·āļ­āđ€āļžāļ·āđˆāļ­āļŦāļēāļ‚āđ‰āļ­āļœāļīāļ”āļžāļĨāļēāļ” āļāļēāļĢāđ€āļšāļĩāđˆāļĒāļ‡āđ€āļšāļ™ āđāļĨāļ°āļœāļĨāļāļĢāļ°āļ—āļšāļ•āđˆāļ­āļœāļđāđ‰āđƒāļŠāđ‰
  4. āđ€āļ•āļĢāļĩāļĒāļĄāđ€āļŠāđ‰āļ™āļ—āļēāļ‡āļāļēāļĢāļĒāđ‰āļ­āļ™āļāļĨāļąāļšāđāļĨāļ°āļāļēāļĢāļ•āļ­āļšāļŠāļ™āļ­āļ‡āļ•āđˆāļ­āđ€āļŦāļ•āļļāļāļēāļĢāļ“āđŒāļāđˆāļ­āļ™āļ›āļĢāļąāļšāļ‚āļ™āļēāļ”

āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›

āļˆāļ”āļŦāļĄāļēāļĒāļ‚āđˆāļēāļ§āļŸāļĢāļĩ

āļĢāļąāļšāļŠāļĢāļļāļ› AI āļĢāļēāļĒāļ§āļąāļ™

āđ€āļĢāļ·āđˆāļ­āļ‡āļĢāļēāļ§ AI āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđāļĨāđ‰āļ§ 3 āđ€āļĢāļ·āđˆāļ­āļ‡āļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āđ€āļŠāđ‰āļē, āđ€āļ‚āļĩāļĒāļ™āđ€āļ›āđ‡āļ™āļ āļēāļĐāļēāļ­āļąāļ‡āļāļĪāļĐāļ˜āļĢāļĢāļĄāļ”āļē āļŸāļĢāļĩāļ•āļĨāļ­āļ”āđ„āļ› āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē

āļ­āļĩāđ€āļĄāļĨāļŦāļ™āļķāđˆāļ‡āļ‰āļšāļąāļšāļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āļĒāļāđ€āļĨāļīāļāļāļēāļĢāļŠāļĄāļąāļ„āļĢāđƒāļ™āļ„āļĨāļīāļāđ€āļ”āļĩāļĒāļ§ āđ€āļĢāļēāđ„āļĄāđˆāđ€āļ„āļĒāļ‚āļēāļĒāļŦāļĢāļ·āļ­āđāļŠāļĢāđŒāļ—āļĩāđˆāļ­āļĒāļđāđˆāļ­āļĩāđ€āļĄāļĨāļ‚āļ­āļ‡āļ„āļļāļ“

āļ—āļ”āļŠāļ­āļšāļ•āļąāļ§āđ€āļ­āļ‡

Take the Scheduled Sampling and Exposure Bias quiz

āļ‚āđ‰āļ­āđ€āļŠāļ™āļ­āđāļ™āļ°āļ—āļąāļ™āļ—āļĩāļŠāļģāļŦāļĢāļąāļšāļ—āļļāļāļ„āļģāļ•āļ­āļš āđāļĨāļ°āđƒāļšāļĢāļąāļšāļĢāļ­āļ‡āļ—āļĩāđˆāļŠāļēāļĄāļēāļĢāļ–āđāļŠāļĢāđŒāđ„āļ”āđ‰āļžāļĢāđ‰āļ­āļĄ ID āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ„āļ”āđ‰āđ€āļĄāļ·āđˆāļ­āļ„āļļāļ“āļœāđˆāļēāļ™āļŦāļĨāļąāļāļŠāļđāļ•āļĢ

āđ€āļĢāļīāđˆāļĄāđāļšāļšāļ—āļ”āļŠāļ­āļš

āļŠāļ™āļąāļšāļŠāļ™āļļāļ™āļāļēāļĢāļĻāļķāļāļĐāļē AI āļŸāļĢāļĩ AI Understanding āđ€āļ›āđ‡āļ™āļ­āļ‡āļ„āđŒāļāļĢāđ„āļĄāđˆāđāļŠāļ§āļ‡āļŦāļēāļœāļĨāļāļģāđ„āļĢ 501(c)(3) — āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē āđ„āļĄāđˆāļĄāļĩāļāļģāđāļžāļ‡āđ€āļ‡āļīāļ™, āļ•āļĨāļ­āļ”āđ„āļ› āļšāļĢāļīāļˆāļēāļ„

āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

āļāļēāļĢāļŠāļļāđˆāļĄāļ•āļąāļ§āļ­āļĒāđˆāļēāļ‡āļ•āļēāļĄāļāđāļēāļŦāļ™āļ”āđ€āļ§āļĨāļēāđāļĨāļ°āļ­āļ„āļ•āļīāļˆāļēāļāļāļēāļĢāļŠāļąāļĄāļœāļąāļŠāļ„āļ·āļ­āļ­āļ°āđ„āļĢ?

Exposure Bias āļ„āļ·āļ­āļŠāđˆāļ­āļ‡āļ§āđˆāļēāļ‡āļ—āļĩāđˆāļ›āļĢāļēāļāļāļ‚āļķāđ‰āļ™āđ€āļĄāļ·āđˆāļ­āđāļšāļšāļˆāļģāļĨāļ­āļ‡āļ—āļĩāđˆāđ„āļ”āđ‰āļĢāļąāļšāļāļēāļĢāļāļķāļāđ€āļ‰āļžāļēāļ°āļ„āļģāļ™āļģāļŦāļ™āđ‰āļēāļ—āļĩāđˆāļŠāļĄāļšāļđāļĢāļ“āđŒāđāļšāļšāđ€āļ—āđˆāļēāļ™āļąāđ‰āļ™ āļˆāļ°āļ•āđ‰āļ­āļ‡āļžāļīāļˆāļēāļĢāļ“āļēāđ€āļ‡āļ·āđˆāļ­āļ™āđ„āļ‚āđƒāļ™āļœāļĨāļĨāļąāļžāļ˜āđŒāļ—āļĩāđˆāđ„āļĄāđˆāļŠāļĄāļšāļđāļĢāļ“āđŒāļ‚āļ­āļ‡āļ•āļąāļ§āđ€āļ­āļ‡ āļāļēāļĢāļŠāļļāđˆāļĄāļ•āļąāļ§āļ­āļĒāđˆāļēāļ‡āļ•āļēāļĄāļāļģāļŦāļ™āļ”āđ€āļ§āļĨāļēāđ€āļ›āđ‡āļ™āļŦāļĨāļąāļāļŠāļđāļ•āļĢāļ—āļĩāđˆāļ„āđˆāļ­āļĒāđ† āļ›āļīāļ”āļŠāđˆāļ­āļ‡āļ§āđˆāļēāļ‡āļ™āļąāđ‰āļ™

āļāļēāļĢāļŠāļļāđˆāļĄāļ•āļąāļ§āļ­āļĒāđˆāļēāļ‡āļ•āļēāļĄāļāļģāļŦāļ™āļ”āļāļēāļĢāļ—āļģāļ­āļ°āđ„āļĢāđƒāļ™āļĢāļ°āļŦāļ§āđˆāļēāļ‡āļāļēāļĢāļāļķāļāļ­āļšāļĢāļĄ?

āļāļēāļĢāļŠāļļāđˆāļĄāļ•āļąāļ§āļ­āļĒāđˆāļēāļ‡āļ•āļēāļĄāļāļģāļŦāļ™āļ”āļāļēāļĢāļŠāļļāđˆāļĄāļœāļŠāļĄāđ‚āļ—āđ€āļ„āđ‡āļ™āļˆāļĢāļīāļ‡āļˆāļēāļāļžāļ·āđ‰āļ™āļ”āļīāļ™āđāļĨāļ°āđ‚āļ—āđ€āļ„āđ‡āļ™āļ—āļĩāđˆāļŠāļĢāđ‰āļēāļ‡āđ‚āļ”āļĒāđ‚āļĄāđ€āļ”āļĨāđ€āļ›āđ‡āļ™āļ­āļīāļ™āļžāļļāļ•āļ•āļąāļ§āļ–āļ­āļ”āļĢāļŦāļąāļŠ āļ‹āļķāđˆāļ‡āļ„āļ§āļšāļ„āļļāļĄāđ‚āļ”āļĒāļ„āļ§āļēāļĄāļ™āđˆāļēāļˆāļ°āđ€āļ›āđ‡āļ™āļ—āļĩāđˆāļ„āđˆāļ­āļĒāđ† āļĨāļ”āļĨāļ‡

āļ„āļ§āļēāļĄāļ™āđˆāļēāļˆāļ°āđ€āļ›āđ‡āļ™āļ‚āļ­āļ‡āļāļēāļĢāđƒāļŠāđ‰āđ‚āļ—āđ€āļ„āđ‡āļ™āļ„āļ§āļēāļĄāļˆāļĢāļīāļ‡āļ āļēāļ„āļžāļ·āđ‰āļ™āļ”āļīāļ™āđ€āļ›āļĨāļĩāđˆāļĒāļ™āđāļ›āļĨāļ‡āđ„āļ›āļˆāļēāļāļāļēāļĢāļāļķāļāļ­āļšāļĢāļĄāđƒāļ™āļāļēāļĢāļŠāļļāđˆāļĄāļ•āļąāļ§āļ­āļĒāđˆāļēāļ‡āļ•āļēāļĄāļāļģāļŦāļ™āļ”āļāļēāļĢāļ­āļĒāđˆāļēāļ‡āđ„āļĢ

āļāļģāļŦāļ™āļ”āļāļēāļĢāđ€āļĢāļīāđˆāļĄāļ•āđ‰āļ™āđƒāļāļĨāđ‰āļāļąāļšāļāļēāļĢāļšāļąāļ‡āļ„āļąāļšāđāļĨāļ°āļāļēāļĢāļŠāļĨāļēāļĒāļ‚āļ­āļ‡āļ„āļĢāļđāđ€āļ•āđ‡āļĄāļĢāļđāļ›āđāļšāļš āļ”āļąāļ‡āļ™āļąāđ‰āļ™āđ‚āļĄāđ€āļ”āļĨāļˆāļķāļ‡āđ€āļ›āļīāļ”āļĢāļąāļšāļāļēāļĢāļ„āļēāļ”āļāļēāļĢāļ“āđŒāļ‚āļ­āļ‡āļ•āļąāļ§āđ€āļ­āļ‡āļĄāļēāļāļ‚āļķāđ‰āļ™āđ€āļĄāļ·āđˆāļ­āļĄāļĩāļāļēāļĢāļ›āļĢāļąāļšāļ›āļĢāļļāļ‡

āđƒāļ„āļĢāđ€āļ›āđ‡āļ™āļœāļđāđ‰āđāļ™āļ°āļ™āļģāļāļēāļĢāļŠāļļāđˆāļĄāļ•āļąāļ§āļ­āļĒāđˆāļēāļ‡āļ•āļēāļĄāļāļģāļŦāļ™āļ”āđ€āļ§āļĨāļē āđāļĨāļ°āļ›āļĢāļ°āļĄāļēāļ“āđ€āļĄāļ·āđˆāļ­āđƒāļ”

āļāļēāļĢāļŠāļļāđˆāļĄāļ•āļąāļ§āļ­āļĒāđˆāļēāļ‡āļ•āļēāļĄāļāļģāļŦāļ™āļ”āđ€āļ§āļĨāļēāđ€āļŠāļ™āļ­āđ‚āļ”āļĒ Samy Bengio āđāļĨāļ°āđ€āļžāļ·āđˆāļ­āļ™āļĢāđˆāļ§āļĄāļ‡āļēāļ™āđƒāļ™āļ›āļĩ 2558 āļŠāļģāļŦāļĢāļąāļšāļāļēāļĢāļ—āļģāļ™āļēāļĒāļĨāļģāļ”āļąāļšāļ”āđ‰āļ§āļĒāđ€āļ„āļĢāļ·āļ­āļ‚āđˆāļēāļĒāļ—āļĩāđˆāđ€āļāļīāļ”āļ‹āđ‰āļģ

āļĢāļđāļ›āđāļšāļšāļ•āļēāļĢāļēāļ‡āđƒāļ”āļ—āļĩāđˆāļĄāļąāļāļ­āđ‰āļēāļ‡āļ–āļķāļ‡āđ€āļžāļ·āđˆāļ­āļĨāļ”āļ„āļ§āļēāļĄāļ™āđˆāļēāļˆāļ°āđ€āļ›āđ‡āļ™āļ‚āļ­āļ‡āļāļēāļĢāļšāļąāļ‡āļ„āļąāļšāļ„āļĢāļđ

āļ‡āļēāļ™āļ•āđ‰āļ™āļ‰āļšāļąāļšāđ€āļŠāļ™āļ­āļ•āļēāļĢāļēāļ‡āļāļēāļĢāļŠāļĨāļēāļĒāļ•āļąāļ§āđ€āļŠāļīāļ‡āđ€āļŠāđ‰āļ™ āđ€āļĨāļ‚āļŠāļĩāđ‰āļāļģāļĨāļąāļ‡ āđāļĨāļ°āļ‹āļīāļāļĄāļ­āļĒāļ”āđŒāļœāļāļœāļąāļ™ āđ€āļžāļ·āđˆāļ­āļĨāļ”āļ„āļ§āļēāļĄāļ™āđˆāļēāļˆāļ°āđ€āļ›āđ‡āļ™āđƒāļ™āļāļēāļĢāļŠāļļāđˆāļĄāļ•āļąāļ§āļ­āļĒāđˆāļēāļ‡āļ•āļēāļĄāļ„āļ§āļēāļĄāļˆāļĢāļīāļ‡āļ āļēāļ„āļžāļ·āđ‰āļ™āļ”āļīāļ™

At a decoding step where scheduled sampling chooses the model-output branch, what is fed as the next context token?

Scheduled sampling sometimes feeds the model’s own sampled prediction instead of the gold previous token.

āđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āļ•āđˆāļ­āđ„āļ›

āļ„āļģāđāļ™āļ°āļ™āļģāļ—āļĩāđˆāđ€āļāļĩāđˆāļĒāļ§āļ‚āđ‰āļ­āļ‡

āļ„āļģāđāļ™āļ°āļ™āļģāđ€āļžāļīāđˆāļĄāđ€āļ•āļīāļĄāļ—āļĩāđˆāđ€āļĨāļ·āļ­āļāļŠāļģāļŦāļĢāļąāļšāļŦāļąāļ§āļ‚āđ‰āļ­āļ™āļĩāđ‰

āļ•āđˆāļ­āđ„āļ›āļ„āļģāđāļ™āļ°āļ™āļģāļ•āđˆāļ­āđ„āļ›

Representation and Sampling Bias in Datasets

āđ€āļ—āļ„āļ™āļīāļ„

āļĢāļąāļšāđƒāļšāļĢāļąāļšāļĢāļ­āļ‡ AI āļŸāļĢāļĩāļŦāļĨāļąāļāļŠāļđāļ•āļĢāđāļĨāļ°āļāļēāļĢāļŠāļ­āļšāļŠāļąāđ‰āļ™ āđ† āļŸāļĢāļĩ āđ„āļĄāđˆāļĄāļĩāļ„āđˆāļēāđƒāļŠāđ‰āļˆāđˆāļēāļĒ āđ„āļĄāđˆāļĄāļĩāļšāļąāļ•āļĢāđ€āļ„āļĢāļ”āļīāļ• āļ›āļĢāļ°āļĄāļēāļ“ 2.5 āļŠāļąāđˆāļ§āđ‚āļĄāļ‡āđ€āļĢāļīāđˆāļĄāļ•āđ‰āļ™āļŸāļĢāļĩ →