āļ„āļđāđˆāļĄāļ·āļ­āļžāļ·āđ‰āļ™āļāļēāļ™

āļāļēāļĢāļŠāļĢāđ‰āļēāļ‡āđāļšāļšāļˆāļģāļĨāļ­āļ‡āļĢāļēāļ‡āļ§āļąāļĨāđāļšāļĢāļ”āļĨāļĩāļĒāđŒ-āđ€āļ—āļ­āļĢāđŒāļĢāļĩāđˆ

āđāļšāļšāļˆāļģāļĨāļ­āļ‡āđāļšāļĢāļ”āļĨāļĩāļĒāđŒ-āđ€āļ—āļ­āļĢāđŒāļĢāļĩāđˆāđ€āļ›āđ‡āļ™āļ§āļīāļ˜āļĩāļāļēāļĢāļ—āļēāļ‡āļŠāļ–āļīāļ•āļīāļ—āļĩāđˆāļĄāļĩāļĄāļēāļ™āļąāļšāļĻāļ•āļ§āļĢāļĢāļĐāđƒāļ™āļāļēāļĢāđ€āļ›āļĨāļĩāđˆāļĒāļ™āļāļēāļĢāđ€āļ›āļĢāļĩāļĒāļšāđ€āļ—āļĩāļĒāļšāđāļšāļšāļ„āļđāđˆ (A āđ€āļ•āđ‰āļ™ B) āđƒāļŦāđ‰āđ€āļ›āđ‡āļ™āļ„āļ°āđāļ™āļ™āļ•āļąāļ§āđ€āļĨāļ‚

āļŸāļąāļ‡āļ„āļģāđāļ™āļ°āļ™āļģāļ™āļĩāđ‰āļšāļĢāļĢāļĒāļēāļĒāđ‚āļ”āļĒ AI · ~2 min

āļšāļ™āļŦāļ™āđ‰āļēāļ™āļĩāđ‰āļ­āđˆāļēāļ™ 2 āļ™āļēāļ—āļĩ
  1. āļ āļēāļžāļĢāļ§āļĄ
  2. āđ€āļˆāļēāļ°āļĨāļķāļ
  3. āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡
  4. āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡āļāļēāļĢāļŠāļĢāđ‰āļēāļ‡āđāļšāļšāļˆāļģāļĨāļ­āļ‡āļĢāļēāļ‡āļ§āļąāļĨāđāļšāļĢāļ”āļĨāļĩāļĒāđŒ-āđ€āļ—āļ­āļĢāđŒāļĢāļĩāđˆ
  5. āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī
  6. āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›
  7. āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

āļ āļēāļžāļĢāļ§āļĄ

āđƒāļ™ AI āļŠāļĄāļąāļĒāđƒāļŦāļĄāđˆ āļĄāļąāļ™āļ‚āļąāļšāđ€āļ„āļĨāļ·āđˆāļ­āļ™āđ‚āļĄāđ€āļ”āļĨāļĢāļēāļ‡āļ§āļąāļĨāļ—āļĩāđˆāđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āļ„āļ§āļēāļĄāļŠāļ­āļšāļ‚āļ­āļ‡āļĄāļ™āļļāļĐāļĒāđŒāļˆāļēāļāļ›āđ‰āļēāļĒāļāđāļēāļāļąāļš 'āļ„āđāļēāļ•āļ­āļšāđ„āļŦāļ™āļ”āļĩāļāļ§āđˆāļē?' āļ‹āļķāđˆāļ‡āđ€āļ›āđ‡āļ™āđāļāļ™āļŦāļĨāļąāļāļ‚āļ­āļ‡ RLHF

āđ€āļˆāļēāļ°āļĨāļķāļ

Bradley-Terry āđ€āļ›āļīāļ”āļ•āļąāļ§āđƒāļ™āļ›āļĩ 1952 āđ‚āļ”āļĒāļ–āļ·āļ­āļ§āđˆāļēāļ—āļļāļāļĢāļēāļĒāļāļēāļĢāļĄāļĩāļ„āļ°āđāļ™āļ™āļ„āļ§āļēāļĄāđāļ‚āđ‡āļ‡āđāļāļĢāđˆāļ‡āļ—āļĩāđˆāļ‹āđˆāļ­āļ™āļ­āļĒāļđāđˆ āđāļĨāļ°āļ„āļ§āļēāļĄāļ™āđˆāļēāļˆāļ°āđ€āļ›āđ‡āļ™āļ—āļĩāđˆāļĢāļēāļĒāļāļēāļĢ A āļŠāļ™āļ°āļĢāļēāļĒāļāļēāļĢ B āļ„āļ·āļ­āļŸāļąāļ‡āļāđŒāļŠāļąāļ™āļĨāļ­āļˆāļīāļŠāļ•āļīāļāļŠāđŒāļ‚āļ­āļ‡āļœāļĨāļ•āđˆāļēāļ‡āļ‚āļ­āļ‡āļ„āļ°āđāļ™āļ™ āđƒāļ™āļāļēāļĢāļˆāļąāļ”āļ•āļģāđāļŦāļ™āđˆāļ‡ AI āļāļēāļĢāļˆāļąāļšāļ„āļđāđˆāļ™āļĩāđ‰āļˆāļ°āđāļĄāđ‡āļ›āđ€āļ‚āđ‰āļēāļāļąāļšāļ‚āđ‰āļ­āļĄāļđāļĨāļāļēāļĢāļ•āļąāđ‰āļ‡āļ„āđˆāļēāļ­āļĒāđˆāļēāļ‡āđ€āļĢāļĩāļĒāļšāļĢāđ‰āļ­āļĒ: āļœāļđāđ‰āļ•āļīāļ”āļ›āđ‰āļēāļĒāļāļģāļāļąāļšāļ—āļĩāđˆāđ€āļ›āđ‡āļ™āļĄāļ™āļļāļĐāļĒāđŒāļˆāļ°āđ€āļŦāđ‡āļ™āļāļēāļĢāļ•āļ­āļšāļŠāļ™āļ­āļ‡āļ‚āļ­āļ‡āđāļšāļšāļˆāļģāļĨāļ­āļ‡āļŠāļ­āļ‡āđāļšāļšāđāļĨāļ°āđ€āļĨāļ·āļ­āļāđāļšāļšāļˆāļģāļĨāļ­āļ‡āļ—āļĩāđˆāļ”āļĩāļāļ§āđˆāļē āđāļ—āļ™āļ—āļĩāđˆāļˆāļ°āđƒāļŦāđ‰āļ„āļ°āđāļ™āļ™āļŠāļąāļĄāļšāļđāļĢāļ“āđŒāļ—āļĩāđˆāļĒāļēāļāļ•āđˆāļ­āļāļēāļĢāļŠāļ­āļšāđ€āļ—āļĩāļĒāļš āđ‚āļĄāđ€āļ”āļĨāļĢāļēāļ‡āļ§āļąāļĨ āļ‹āļķāđˆāļ‡āđ‚āļ”āļĒāļ›āļāļ•āļīāļˆāļ°āđ€āļ›āđ‡āļ™āđ‚āļĄāđ€āļ”āļĨāļ āļēāļĐāļēāļ—āļĩāđˆāļĄāļĩāļŦāļąāļ§āđ€āļ­āļēāļ•āđŒāļžāļļāļ•āđāļšāļšāļŠāđ€āļāļĨāļēāļĢāđŒ āđ„āļ”āđ‰āļĢāļąāļšāļāļēāļĢāļāļķāļāļ­āļšāļĢāļĄāđ€āļžāļ·āđˆāļ­āđƒāļŦāđ‰āļāļēāļĢāļ•āļ­āļšāļŠāļ™āļ­āļ‡āļ—āļĩāđˆāļĄāļ™āļļāļĐāļĒāđŒāļ•āđ‰āļ­āļ‡āļāļēāļĢāļˆāļ°āđ„āļ”āđ‰āļĢāļąāļšāļĢāļēāļ‡āļ§āļąāļĨāļŠāđ€āļāļĨāļēāļĢāđŒāļ—āļĩāđˆāļŠāļđāļ‡āļāļ§āđˆāļē āļāļēāļĢāļŠāļđāļāđ€āļŠāļĩāļĒāļ„āļ·āļ­āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āđ„āļ›āđ„āļ”āđ‰āļ‚āļ­āļ‡āļšāļąāļ™āļ—āļķāļāđ€āļŠāļīāļ‡āļĨāļšāļ‚āļ­āļ‡āļ„āļ§āļēāļĄāļ™āđˆāļēāļˆāļ°āđ€āļ›āđ‡āļ™āļ‚āļ­āļ‡āđāļšāļĢāļ”āļĨāļĩāļĒāđŒ-āđ€āļ—āļ­āļĢāđŒāļĢāļĩāđˆ: āđ€āļžāļīāđˆāļĄāļĨāđ‡āļ­āļāļ‹āļīāļāļĄāļ­āļĒāļ”āđŒāđƒāļŦāđ‰āļŠāļđāļ‡āļŠāļļāļ” (āļĢāļēāļ‡āļ§āļąāļĨāļ‚āļ­āļ‡āļ—āļĩāđˆāđ€āļĨāļ·āļ­āļāļĨāļšāļĢāļēāļ‡āļ§āļąāļĨāļ‚āļ­āļ‡āļāļēāļĢāļ›āļāļīāđ€āļŠāļ˜) āđ‚āļĄāđ€āļ”āļĨāļāļēāļĢāđƒāļŦāđ‰āļĢāļēāļ‡āļ§āļąāļĨāļ—āļĩāđˆāđ„āļ”āđ‰āļˆāļ°āđƒāļŦāđ‰āļ„āļ°āđāļ™āļ™āđ€āļ­āļēāļ•āđŒāļžāļļāļ•āļ•āļēāļĄāļ­āļģāđ€āļ āļ­āđƒāļˆ āđ‚āļ”āļĒāđƒāļŦāđ‰āļŠāļąāļāļāļēāļ“āļ§āđˆāļēāļāļēāļĢāđ€āļŠāļĢāļīāļĄāļ­āļąāļĨāļāļ­āļĢāļīāļ—āļķāļĄāļāļēāļĢāđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰ āđ€āļŠāđˆāļ™ PPO āļ›āļĢāļąāļšāđƒāļŦāđ‰āđ€āļŦāļĄāļēāļ°āļŠāļĄāđ€āļžāļ·āđˆāļ­āđƒāļŦāđ‰āđ‚āļĄāđ€āļ”āļĨāļĄāļĩāļ›āļĢāļ°āđ‚āļĒāļŠāļ™āđŒāđāļĨāļ°āļŠāļ­āļ”āļ„āļĨāđ‰āļ­āļ‡āļāļąāļ™āļĄāļēāļāļ‚āļķāđ‰āļ™

āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡

āļāļķāļāļ­āļšāļĢāļĄāđ‚āļĄāđ€āļ”āļĨāļĢāļēāļ‡āļ§āļąāļĨāđƒāļ™ RLHF āļ—āļĩāđˆāļˆāļąāļ”āļ­āļąāļ™āļ”āļąāļšāļāļēāļĢāļ•āļ­āļšāļŠāļ™āļ­āļ‡āđāļŠāļ—āļšāļ­āļ—āļŠāļ­āļ‡āļ•āļąāļ§ āđāļĨāļ°āļ›āđ‰āļ­āļ™āļŠāļąāļāļāļēāļ“āļ—āļĩāđˆāļ”āļĩāļāļ§āđˆāļēāđāļĨāļ°āđāļĒāđˆāļāļ§āđˆāļēāļ™āļąāđ‰āļ™āđ„āļ›āļĒāļąāļ‡āļāļēāļĢāļ›āļĢāļąāļšāđāļ•āđˆāļ‡ PPO āļ­āļĒāđˆāļēāļ‡āļĨāļ°āđ€āļ­āļĩāļĒāļ”

āļāļēāļĢāđ€āļžāļīāđˆāļĄāļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāļāļēāļĢāļāļģāļŦāļ™āļ”āļĨāļąāļāļĐāļ“āļ°āđ‚āļ”āļĒāļ•āļĢāļ‡ āļ›āļĢāļąāļšāđāļ•āđˆāļ‡āđāļšāļšāļˆāļģāļĨāļ­āļ‡āđ‚āļ”āļĒāļ•āļĢāļ‡āđƒāļ™āļ„āļđāđˆāļ„āļģāļ•āļ­āļšāļ—āļĩāđˆāđ€āļĨāļ·āļ­āļāđāļĨāļ°āļ–āļđāļāļ›āļāļīāđ€āļŠāļ˜āđ‚āļ”āļĒāđƒāļŠāđ‰āļāļēāļĢāļŠāļđāļāđ€āļŠāļĩāļĒāļšāļąāļ™āļ—āļķāļāļ‹āļīāļāļĄāļ­āļĒāļ”āđŒāļ‚āļ­āļ‡āđāļšāļĢāļ”āļĨāļĩāļĒāđŒ-āđ€āļ—āļ­āļĢāđŒāļĢāļĩāđˆ

āļˆāļąāļ”āļ­āļąāļ™āļ”āļąāļšāļœāļđāđ‰āđ€āļĨāđˆāļ™āļŦāļĄāļēāļāļĢāļļāļāļŦāļĢāļ·āļ­ esports āļœāđˆāļēāļ™ Elo āļ‹āļķāđˆāļ‡āđ€āļ›āđ‡āļ™āļāļēāļ•āļīāļŠāļ™āļīāļ—āļ‚āļ­āļ‡āđāļšāļšāļˆāļģāļĨāļ­āļ‡ Bradley-Terry āđƒāļ™āļœāļĨāļĨāļąāļžāļ˜āđŒāļ‚āļ­āļ‡āđ€āļāļĄ

āļāļēāļĢāļŠāļĢāđ‰āļēāļ‡āļ­āļąāļ™āļ”āļąāļšāļāļēāļĢāđāļ™āļ°āļ™āļģāđ€āļ™āļ·āđ‰āļ­āļŦāļēāļˆāļēāļāļ‚āđ‰āļ­āļĄāļđāļĨāļāļēāļĢāļ„āļĨāļīāļ 'āļœāļđāđ‰āđƒāļŠāđ‰āļ—āļĩāđˆāļ•āđ‰āļ­āļ‡āļāļēāļĢ A āļĄāļēāļāļāļ§āđˆāļē B' āđāļ—āļ™āļ—āļĩāđˆāļˆāļ°āđƒāļŦāđ‰āļ„āļ°āđāļ™āļ™āļ”āļēāļ§āđāļšāļšāļŠāļąāļĄāļšāļđāļĢāļ“āđŒ

āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡āļāļēāļĢāļŠāļĢāđ‰āļēāļ‡āđāļšāļšāļˆāļģāļĨāļ­āļ‡āļĢāļēāļ‡āļ§āļąāļĨāđāļšāļĢāļ”āļĨāļĩāļĒāđŒ-āđ€āļ—āļ­āļĢāđŒāļĢāļĩāđˆ

āđāļšāļĢāļ”āļĨāļĩāļĒāđŒ-āđ€āļ—āļ­āļĢāđŒāļĢāļĩāđˆāļ–āļ·āļ­āļ§āđˆāļēāļāļēāļĢāļˆāļąāļ”āļ­āļąāļ™āļ”āļąāļšāđāļĨāļ°āļāļēāļĢāļ•āļąāđ‰āļ‡āļ„āđˆāļēāđāļšāļšāļŠāļāļĢāļĢāļĄāļāļĢāļīāļĒāļēāļ—āļĩāđˆāļŠāļ­āļ”āļ„āļĨāđ‰āļ­āļ‡āļāļąāļ™āđ€āļžāļĩāļĒāļ‡āļĢāļēāļĒāļāļēāļĢāđ€āļ”āļĩāļĒāļ§ āļ‹āļķāđˆāļ‡āļˆāļ°āļžāļąāļ‡āļ—āļĨāļēāļĒāļĨāļ‡āđ€āļĄāļ·āđˆāļ­āļĄāļ™āļļāļĐāļĒāđŒāđ„āļĄāđˆāđ€āļŦāđ‡āļ™āļ”āđ‰āļ§āļĒāļŦāļĢāļ·āļ­āļ§āļ‡āļˆāļĢāļāļēāļĢāļ•āļąāđ‰āļ‡āļ„āđˆāļē āļāļēāļĢāļ§āļīāļˆāļąāļĒāļāļģāļĨāļąāļ‡āļĄāļļāđˆāļ‡āļŠāļđāđˆāđ‚āļĄāđ€āļ”āļĨāļ—āļĩāđˆāļĢāļ§āļšāļĢāļ§āļĄāļāļēāļĢāļāļĢāļ°āļˆāļēāļĒāļ„āļ§āļēāļĄāļŠāļ­āļš āļĢāļēāļ‡āļ§āļąāļĨāļŦāļĨāļēāļĒāļĄāļīāļ•āļī (āļ„āļ§āļēāļĄāļŠāđˆāļ§āļĒāđ€āļŦāļĨāļ·āļ­ āļ„āļ§āļēāļĄāļ›āļĨāļ­āļ”āļ āļąāļĒ āļ„āļ§āļēāļĄāļ‹āļ·āđˆāļ­āļŠāļąāļ•āļĒāđŒāđƒāļŦāđ‰āļ„āļ°āđāļ™āļ™āđāļĒāļāļāļąāļ™) āđāļĨāļ°āļ§āļīāļ˜āļĩāļāļēāļĢāļ•āđˆāļēāļ‡āđ† āđ€āļŠāđˆāļ™ āļāļēāļĢāđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āļ‚āļ­āļ‡āđāļ™āļŠāļˆāļēāļāļ„āļ§āļēāļĄāļ„āļīāļ”āđ€āļŦāđ‡āļ™āļ‚āļ­āļ‡āļĄāļ™āļļāļĐāļĒāđŒāļ—āļĩāđˆāļĨāļ°āļ—āļīāđ‰āļ‡āļŠāļĄāļĄāļ•āļīāļāļēāļ™āđāļšāļšāļ„āļ°āđāļ™āļ™āđ€āļ”āļĩāļĒāļ§ DPO āđāļĨāļ°āļ•āļąāļ§āđāļ›āļĢāļ•āđˆāļēāļ‡āđ† āđ€āļŠāļ·āđˆāļ­āļĄāđ‚āļĒāļ‡āļ§āļąāļ•āļ–āļļāļ›āļĢāļ°āļŠāļ‡āļ„āđŒāļ‚āļ­āļ‡āđāļšāļĢāļ”āļĨāļĩāļĒāđŒ-āđ€āļ—āļ­āļĢāđŒāļĢāļĩāđˆāđ€āļ‚āđ‰āļēāļāļąāļšāļāļēāļĢāļāļķāļāļ­āļšāļĢāļĄāļ”āđ‰āļēāļ™āļ™āđ‚āļĒāļšāļēāļĒāđ‚āļ”āļĒāļ•āļĢāļ‡āļĄāļēāļāļ‚āļķāđ‰āļ™āđ€āļĢāļ·āđˆāļ­āļĒāđ† āļ„āļēāļ”āļ§āđˆāļēāļˆāļ°āļĄāļĩāļĢāļđāļ›āđāļšāļšāļāļēāļĢāđ€āļ›āļĢāļĩāļĒāļšāđ€āļ—āļĩāļĒāļšāļ—āļĩāđˆāļŠāļĄāļšāļđāļĢāļ“āđŒāļĒāļīāđˆāļ‡āļ‚āļķāđ‰āļ™ āļĢāļ§āļĄāļ–āļķāļ‡āļāļēāļĢāļˆāļąāļ”āļ­āļąāļ™āļ”āļąāļšāļĄāļēāļāļāļ§āđˆāļēāļŠāļ­āļ‡āļĢāļēāļĒāļāļēāļĢāđāļĨāļ°āļāļēāļĢāļ•āļąāđ‰āļ‡āļ„āđˆāļēāļ—āļĩāđˆāļ–āđˆāļ§āļ‡āļ™āđ‰āļģāļŦāļ™āļąāļāļ”āđ‰āļ§āļĒāļ„āļ§āļēāļĄāļĄāļąāđˆāļ™āđƒāļˆ āđ€āļžāļ·āđˆāļ­āļĨāļ”āļāļēāļĢāđāļŪāđ‡āļāļĢāļēāļ‡āļ§āļąāļĨ

āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī

āļ—āļģāđ„āļĄāļĄāļąāļ™āļ–āļķāļ‡āļŠāļģāļ„āļąāļ

  • āļāļēāļĢāļ•āļąāļ”āļŠāļīāļ™āđƒāļˆāļ—āļĩāđˆāļŠāļąāļ”āđ€āļˆāļ™āļĒāļīāđˆāļ‡āļ‚āļķāđ‰āļ™. āļŠāđˆāļ§āļĒāđƒāļŦāđ‰āļ„āļļāļ“āđāļĒāļāļ„āļģāļāļĨāđˆāļēāļ§āļ­āđ‰āļēāļ‡āļ—āļēāļ‡āđ€āļ—āļ„āļ™āļīāļ„āļ—āļĩāđˆāļŠāļąāļ”āđ€āļˆāļ™āļ­āļ­āļāļˆāļēāļāļ āļēāļĐāļēāļ—āļēāļ‡āļāļēāļĢāļ•āļĨāļēāļ”āđ„āļ”āđ‰
  • āļ•āđ‰āļ™āļ—āļļāļ™āđāļĨāļ°āļ‡āļšāļ›āļĢāļ°āļĄāļēāļ“. āļ„āļļāļ“āļŠāļēāļĄāļēāļĢāļ–āļ–āļēāļĄāļ„āļģāļ–āļēāļĄāļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļ—āļĩāđˆāļ”āļĩāļ‚āļķāđ‰āļ™āļāđˆāļ­āļ™āļ—āļĩāđˆāļˆāļ°āđƒāļŠāđ‰āđ€āļ‡āļīāļ™āļŦāļĢāļ·āļ­āđ€āļ§āļĨāļē
  • āļ—āļĩāļĄāļ‡āļēāļ™āđāļĨāļ°āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļāļēāļĢāļ—āļģāļ‡āļēāļ™. āļ—āļĩāļĄāļ—āļĩāđˆāļĄāļĩāļ„āļ§āļēāļĄāđ€āļ‚āđ‰āļēāđƒāļˆāļĢāđˆāļ§āļĄāļāļąāļ™āļˆāļ°āļ•āļąāļ”āļŠāļīāļ™āđƒāļˆāđ€āļāļĩāđˆāļĒāļ§āļāļąāļšāļœāļĨāļīāļ•āļ āļąāļ“āļ‘āđŒ āļ™āđ‚āļĒāļšāļēāļĒ āđāļĨāļ°āļāļēāļĢāđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āđ„āļ”āđ‰āļ”āļĩāļ‚āļķāđ‰āļ™

āļĢāļ°āļ§āļąāļ‡

  • āđāļ•āđˆāļĨāļ°āļ—āļĩāļĄāļ­āļēāļˆāđƒāļŠāđ‰āļ„āļģāđ€āļ”āļĩāļĒāļ§āļāļąāļ™āļ•āđˆāļēāļ‡āļāļąāļ™ āļ”āļąāļ‡āļ™āļąāđ‰āļ™āļ„āļ§āļĢāļāļģāļŦāļ™āļ”āļ‚āļ­āļšāđ€āļ‚āļ•āļ•āļąāđ‰āļ‡āđāļ•āđˆāđ€āļ™āļīāđˆāļ™āđ†
  • āđ€āļāļ“āļ‘āđŒāļĄāļēāļ•āļĢāļāļēāļ™āļ­āļēāļˆāļ”āļđāđāļ‚āđ‡āļ‡āđāļāļĢāđˆāļ‡āđƒāļ™āļ‚āļ“āļ°āļ—āļĩāđˆāļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡āđ„āļĄāđˆāđ€āļ—āđˆāļēāļāļąāļ™
  • āļāļēāļĢāđ€āļžāļīāļāđ€āļ‰āļĒāļ•āđˆāļ­āļ„āļļāļ“āļ āļēāļžāļ‚āđ‰āļ­āļĄāļđāļĨāđāļĨāļ°āđāļœāļ™āļāļēāļĢāļ›āļĢāļ°āđ€āļĄāļīāļ™āļĄāļąāļāļŠāļĢāđ‰āļēāļ‡āļœāļĨāļĨāļąāļžāļ˜āđŒāļ—āļĩāđˆāđ€āļ›āļĢāļēāļ°āļšāļēāļ‡

āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļ•āđˆāļ­āđ„āļ›

  1. āđ€āļĢāļīāđˆāļĄāļ•āđ‰āļ™āļ”āđ‰āļ§āļĒāļ„āļģāļˆāļģāļāļąāļ”āļ„āļ§āļēāļĄāļ āļēāļĐāļēāļ˜āļĢāļĢāļĄāļ”āļēāļ‚āļ­āļ‡āļœāļĨāļĨāļąāļžāļ˜āđŒāļ—āļĩāđˆāļ„āļļāļ“āļ•āđ‰āļ­āļ‡āļāļēāļĢ
  2. āđ€āļĨāļ·āļ­āļāđ€āļĄāļ•āļĢāļīāļāļ§āļąāļ”āļ„āļ§āļēāļĄāļŠāļģāđ€āļĢāđ‡āļˆāļŦāļ™āļķāđˆāļ‡āļĢāļēāļĒāļāļēāļĢāđāļĨāļ°āđ€āļ‡āļ·āđˆāļ­āļ™āđ„āļ‚āļ„āļ§āļēāļĄāļĨāđ‰āļĄāđ€āļŦāļĨāļ§āļŦāļ™āļķāđˆāļ‡āļĢāļēāļĒāļāļēāļĢāļāđˆāļ­āļ™āļāļēāļĢāļ—āļ”āļŠāļ­āļš
  3. āļ”āļģāđ€āļ™āļīāļ™āļāļēāļĢāļ™āļģāļĢāđˆāļ­āļ‡āļ‚āļ™āļēāļ”āđ€āļĨāđ‡āļāļ”āđ‰āļ§āļĒāļ‚āđ‰āļ­āļĄāļđāļĨāļ•āļąāļ§āđāļ—āļ™ āđ„āļĄāđˆāđƒāļŠāđˆāļŠāļļāļ”āļŠāļēāļ˜āļīāļ•āļ—āļĩāđˆāļŠāļ§āļĒāļ‡āļēāļĄ
  4. āđ€āļ­āļāļŠāļēāļĢāļ—āļĩāđˆāļ‹āļķāđˆāļ‡āļāļēāļĢāļŠāļĢāđ‰āļēāļ‡āđāļšāļšāļˆāļģāļĨāļ­āļ‡āļĢāļēāļ‡āļ§āļąāļĨāļ‚āļ­āļ‡ Bradley-Terry āļŠāđˆāļ§āļĒāđ„āļ”āđ‰ āđāļĨāļ°āļ§āļīāļ˜āļĩāļ—āļĩāđˆāļ‡āđˆāļēāļĒāļāļ§āđˆāļēāļˆāļ°āļ”āļĩāļāļ§āđˆāļē

āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›

āļˆāļ”āļŦāļĄāļēāļĒāļ‚āđˆāļēāļ§āļŸāļĢāļĩ

āļĢāļąāļšāļŠāļĢāļļāļ› AI āļĢāļēāļĒāļ§āļąāļ™

āđ€āļĢāļ·āđˆāļ­āļ‡āļĢāļēāļ§ AI āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđāļĨāđ‰āļ§ 3 āđ€āļĢāļ·āđˆāļ­āļ‡āļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āđ€āļŠāđ‰āļē, āđ€āļ‚āļĩāļĒāļ™āđ€āļ›āđ‡āļ™āļ āļēāļĐāļēāļ­āļąāļ‡āļāļĪāļĐāļ˜āļĢāļĢāļĄāļ”āļē āļŸāļĢāļĩāļ•āļĨāļ­āļ”āđ„āļ› āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē

āļ­āļĩāđ€āļĄāļĨāļŦāļ™āļķāđˆāļ‡āļ‰āļšāļąāļšāļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āļĒāļāđ€āļĨāļīāļāļāļēāļĢāļŠāļĄāļąāļ„āļĢāđƒāļ™āļ„āļĨāļīāļāđ€āļ”āļĩāļĒāļ§ āđ€āļĢāļēāđ„āļĄāđˆāđ€āļ„āļĒāļ‚āļēāļĒāļŦāļĢāļ·āļ­āđāļŠāļĢāđŒāļ—āļĩāđˆāļ­āļĒāļđāđˆāļ­āļĩāđ€āļĄāļĨāļ‚āļ­āļ‡āļ„āļļāļ“

āļ—āļ”āļŠāļ­āļšāļ•āļąāļ§āđ€āļ­āļ‡

Take the Bradley-Terry Reward Modeling quiz

āļ‚āđ‰āļ­āđ€āļŠāļ™āļ­āđāļ™āļ°āļ—āļąāļ™āļ—āļĩāļŠāļģāļŦāļĢāļąāļšāļ—āļļāļāļ„āļģāļ•āļ­āļš āđāļĨāļ°āđƒāļšāļĢāļąāļšāļĢāļ­āļ‡āļ—āļĩāđˆāļŠāļēāļĄāļēāļĢāļ–āđāļŠāļĢāđŒāđ„āļ”āđ‰āļžāļĢāđ‰āļ­āļĄ ID āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ„āļ”āđ‰āđ€āļĄāļ·āđˆāļ­āļ„āļļāļ“āļœāđˆāļēāļ™āļŦāļĨāļąāļāļŠāļđāļ•āļĢ

āđ€āļĢāļīāđˆāļĄāđāļšāļšāļ—āļ”āļŠāļ­āļš

āļŠāļ™āļąāļšāļŠāļ™āļļāļ™āļāļēāļĢāļĻāļķāļāļĐāļē AI āļŸāļĢāļĩ AI Understanding āđ€āļ›āđ‡āļ™āļ­āļ‡āļ„āđŒāļāļĢāđ„āļĄāđˆāđāļŠāļ§āļ‡āļŦāļēāļœāļĨāļāļģāđ„āļĢ 501(c)(3) — āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē āđ„āļĄāđˆāļĄāļĩāļāļģāđāļžāļ‡āđ€āļ‡āļīāļ™, āļ•āļĨāļ­āļ”āđ„āļ› āļšāļĢāļīāļˆāļēāļ„

āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

Bradley-Terry Reward Modeling āļ„āļ·āļ­āļ­āļ°āđ„āļĢ?

āđāļšāļšāļˆāļģāļĨāļ­āļ‡āđāļšāļĢāļ”āļĨāļĩāļĒāđŒ-āđ€āļ—āļ­āļĢāđŒāļĢāļĩāđˆāđ€āļ›āđ‡āļ™āļ§āļīāļ˜āļĩāļāļēāļĢāļ—āļēāļ‡āļŠāļ–āļīāļ•āļīāļ—āļĩāđˆāļĄāļĩāļĄāļēāļ™āļąāļšāļĻāļ•āļ§āļĢāļĢāļĐāđƒāļ™āļāļēāļĢāđ€āļ›āļĨāļĩāđˆāļĒāļ™āļāļēāļĢāđ€āļ›āļĢāļĩāļĒāļšāđ€āļ—āļĩāļĒāļšāđāļšāļšāļ„āļđāđˆ (A āđ€āļ•āđ‰āļ™ B) āđƒāļŦāđ‰āđ€āļ›āđ‡āļ™āļ„āļ°āđāļ™āļ™āļ•āļąāļ§āđ€āļĨāļ‚ āđƒāļ™ AI āļŠāļĄāļąāļĒāđƒāļŦāļĄāđˆ āļˆāļ°āļ‚āļąāļšāđ€āļ„āļĨāļ·āđˆāļ­āļ™āđ‚āļĄāđ€āļ”āļĨāļāļēāļĢāđƒāļŦāđ‰āļĢāļēāļ‡āļ§āļąāļĨāļ—āļĩāđˆāđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āļ„āļ§āļēāļĄāļŠāļ­āļšāļ‚āļ­āļ‡āļĄāļ™āļļāļĐāļĒāđŒāļˆāļēāļ 'āļ„āļģāļ•āļ­āļšāđ„āļŦāļ™āļ”āļĩāļāļ§āđˆāļēāļāļąāļ™' āļ‰āļĨāļēāļ āļŦāļąāļ§āđƒāļˆāļ‚āļ­āļ‡ RLHF

āđāļšāļšāļˆāļģāļĨāļ­āļ‡āđāļšāļĢāļ”āļĨāļĩāļĒāđŒ-āđ€āļ—āļ­āļĢāđŒāļĢāļĩāđˆāđāļ›āļĨāļ‡āđ€āļ›āđ‡āļ™āļ„āļ°āđāļ™āļ™āļ•āļąāļ§āđ€āļĨāļ‚āđ€āļ—āđˆāļēāđƒāļ”

āđāļšāļĢāļ”āļĨāļĩāļĒāđŒ-āđ€āļ—āļ­āļĢāđŒāļĢāļĩāđˆāđƒāļŠāđ‰āļāļēāļĢāđ€āļ›āļĢāļĩāļĒāļšāđ€āļ—āļĩāļĒāļš 'A āđ€āļ•āđ‰āļ™ B' āđāļšāļšāļ„āļđāđˆ āđāļĨāļ°āļ­āļ™āļļāļĄāļēāļ™āļ„āļ°āđāļ™āļ™āļ„āļ§āļēāļĄāđāļ‚āđ‡āļ‡āđāļāļĢāđˆāļ‡āļ—āļĩāđˆāļ‹āđˆāļ­āļ™āļ­āļĒāļđāđˆāļŠāļģāļŦāļĢāļąāļšāđāļ•āđˆāļĨāļ°āļĢāļēāļĒāļāļēāļĢ āļ‹āļķāđˆāļ‡āđ€āļ›āđ‡āļ™āđ€āļŦāļ•āļļāļœāļĨāļ§āđˆāļēāļ—āļģāđ„āļĄāļˆāļķāļ‡āđ€āļŦāļĄāļēāļ°āļāļąāļšāļāļēāļĢāļ•āļīāļ”āļ›āđ‰āļēāļĒāļāļģāļāļąāļšāļ„āļ§āļēāļĄāļŠāļ­āļšāļ‚āļ­āļ‡āļĄāļ™āļļāļĐāļĒāđŒāđ„āļ”āđ‰āđ€āļ›āđ‡āļ™āļ­āļĒāđˆāļēāļ‡āļ”āļĩ

āđƒāļ™āđāļšāļĢāļ”āļĨāļĩāļĒāđŒ-āđ€āļ—āļ­āļĢāđŒāļĢāļĩāđˆ āļ„āļ§āļēāļĄāļ™āđˆāļēāļˆāļ°āđ€āļ›āđ‡āļ™āļ—āļĩāđˆ A āļŠāļ™āļ° B āđ€āļ›āđ‡āļ™āļŸāļąāļ‡āļāđŒāļŠāļąāļ™āļ‚āļ­āļ‡āļ­āļ°āđ„āļĢ

āđāļšāļšāļˆāļģāļĨāļ­āļ‡āļ•āļąāđ‰āļ‡āļ„āđˆāļē P(A āđ€āļ•āđ‰āļ™ B) āđ€āļ—āđˆāļēāļāļąāļšāļĨāļ­āļˆāļīāļŠāļ•āļīāļ (āļ‹āļīāļāļĄāļ­āļĒāļ”āđŒ) āļ‚āļ­āļ‡āļ„āļ§āļēāļĄāđāļ•āļāļ•āđˆāļēāļ‡āļĢāļ°āļŦāļ§āđˆāļēāļ‡āļ„āļ°āđāļ™āļ™āļ„āļ§āļēāļĄāđāļ‚āđ‡āļ‡āđāļāļĢāđˆāļ‡āļ—āļĩāđˆāļ‹āđˆāļ­āļ™āļ­āļĒāļđāđˆāļ‚āļ­āļ‡ A āđāļĨāļ° B

āđ€āļŦāļ•āļļāđƒāļ”āļĢāļēāļ‡āļ§āļąāļĨāļ‚āļ­āļ‡āđāļšāļĢāļ”āļĨāļĩāļĒāđŒ-āđ€āļ—āļ­āļĢāđŒāļĢāļĩāđˆāļˆāļķāļ‡āļŠāļēāļĄāļēāļĢāļ–āļĢāļ°āļšāļļāđ„āļ”āđ‰āđ€āļ‰āļžāļēāļ°āļ„āđˆāļēāļ„āļ‡āļ—āļĩāđˆāļšāļ§āļāđ€āļ—āđˆāļēāļ™āļąāđ‰āļ™

āļāļēāļĢāļŠāļđāļāđ€āļŠāļĩāļĒāļāļēāļĢāļāļķāļāđƒāļŠāđ‰āđ€āļ‰āļžāļēāļ°āļŠāđˆāļ§āļ™āļ•āđˆāļēāļ‡āļĢāļ°āļŦāļ§āđˆāļēāļ‡āļĢāļēāļ‡āļ§āļąāļĨāļ—āļĩāđˆāđ€āļĨāļ·āļ­āļāđāļĨāļ°āļĢāļēāļ‡āļ§āļąāļĨāļ—āļĩāđˆāļ–āļđāļāļ›āļāļīāđ€āļŠāļ˜ āļ”āļąāļ‡āļ™āļąāđ‰āļ™āļāļēāļĢāđ€āļ›āļĨāļĩāđˆāļĒāļ™āļ„āļ°āđāļ™āļ™āļ—āļąāđ‰āļ‡āļŦāļĄāļ”āļ”āđ‰āļ§āļĒāļ„āđˆāļēāļ„āļ‡āļ—āļĩāđˆāđ€āļ”āļĩāļĒāļ§āļāļąāļ™āļˆāļ°āļ—āļģāđƒāļŦāđ‰āļāļēāļĢāļŠāļđāļāđ€āļŠāļĩāļĒāđ„āļĄāđˆāđ€āļ›āļĨāļĩāđˆāļĒāļ™āđāļ›āļĨāļ‡ āļ‚āļ™āļēāļ”āļŠāļąāļĄāļšāļđāļĢāļ“āđŒāđ€āļ›āđ‡āļ™āđ„āļ›āļ•āļēāļĄāļ­āļģāđ€āļ āļ­āđƒāļˆ

āļ­āļ°āđ„āļĢāļ„āļ·āļ­āļāļēāļĢāļŠāļđāļāđ€āļŠāļĩāļĒāļĄāļēāļ•āļĢāļāļēāļ™āļŠāļģāļŦāļĢāļąāļšāļāļēāļĢāđ€āļ›āļĢāļĩāļĒāļšāđ€āļ—āļĩāļĒāļšāļāļēāļĢāļ•āļąāđ‰āļ‡āļ„āđˆāļēāđ€āļ”āļĩāļĒāļ§āđƒāļ™āļāļēāļĢāļŠāļĢāđ‰āļēāļ‡āđāļšāļšāļˆāļģāļĨāļ­āļ‡āļĢāļēāļ‡āļ§āļąāļĨ?

āđ‚āļ­āļāļēāļŠāļšāļąāļ™āļ—āļķāļāđ€āļŠāļīāļ‡āļĨāļšāļ‚āļ­āļ‡āđāļšāļĢāļ”āļĨāļĩāļĒāđŒ-āđ€āļ—āļ­āļĢāđŒāļĢāļĩāđˆāļĨāļ”āļĨāļ‡āđ€āļŦāļĨāļ·āļ­āļĨāļš log-sigmoid āļ‚āļ­āļ‡āļœāļĨāļ•āđˆāļēāļ‡āļĢāļēāļ‡āļ§āļąāļĨāļ—āļĩāđˆāđ€āļĨāļ·āļ­āļ-āļĨāļš-āļ›āļāļīāđ€āļŠāļ˜ āļŠāđˆāļ‡āļœāļĨāđƒāļŦāđ‰āļĢāļēāļ‡āļ§āļąāļĨāļ‚āļ­āļ‡āļ„āļģāļ•āļ­āļšāļ—āļĩāđˆāđ€āļĨāļ·āļ­āļāļŠāļđāļ‡āļ‚āļķāđ‰āļ™

āļ§āļīāļ˜āļĩāđƒāļ”āļ—āļĩāđˆāļ‚āđ‰āļēāļĄāļĢāļđāļ›āđāļšāļšāļāļēāļĢāđƒāļŦāđ‰āļĢāļēāļ‡āļ§āļąāļĨāļ—āļĩāđˆāđāļĒāļāļˆāļēāļāļāļąāļ™āđ‚āļ”āļĒāļāļēāļĢāđ€āļžāļīāđˆāļĄāļ›āļĢāļ°āļŠāļīāļ—āļ˜āļīāļ āļēāļžāļ§āļąāļ•āļ–āļļāļ›āļĢāļ°āļŠāļ‡āļ„āđŒāļ‚āļ­āļ‡āđāļšāļĢāļ”āļĨāļĩāļĒāđŒ-āđ€āļ—āļ­āļĢāđŒāļĢāļĩāđˆāđƒāļ™āļ™āđ‚āļĒāļšāļēāļĒāđ‚āļ”āļĒāļ•āļĢāļ‡

DPO āļ›āļĢāļąāļšāđ‚āļ„āļĢāļ‡āļŠāļĢāđ‰āļēāļ‡āļ§āļąāļ•āļ–āļļāļ›āļĢāļ°āļŠāļ‡āļ„āđŒāļāļēāļĢāļ•āļąāđ‰āļ‡āļ„āđˆāļēāļ‚āļ­āļ‡āđāļšāļĢāļ”āļĨāļĩāļĒāđŒ-āđ€āļ—āļ­āļĢāđŒāļĢāļĩāđˆ āđ€āļžāļ·āđˆāļ­āđƒāļŦāđ‰āļŠāļēāļĄāļēāļĢāļ–āļ™āļģāđ„āļ›āđƒāļŠāđ‰āļāļąāļšāđ‚āļĄāđ€āļ”āļĨāļ™āđ‚āļĒāļšāļēāļĒāđ„āļ”āđ‰āđ‚āļ”āļĒāļ•āļĢāļ‡ āđ‚āļ”āļĒāđ„āļĄāđˆāļˆāļģāđ€āļ›āđ‡āļ™āļ•āđ‰āļ­āļ‡āļāļķāļāļ­āļšāļĢāļĄāđāļĨāļ°āļŠāļ­āļšāļ–āļēāļĄāđ‚āļĄāđ€āļ”āļĨāļĢāļēāļ‡āļ§āļąāļĨāđāļšāļšāļŠāđāļ•āļ™āļ”āđŒāļ­āđ‚āļĨāļ™

āđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āļ•āđˆāļ­āđ„āļ›

āļ„āļģāđāļ™āļ°āļ™āļģāļ—āļĩāđˆāđ€āļāļĩāđˆāļĒāļ§āļ‚āđ‰āļ­āļ‡

āļ„āļģāđāļ™āļ°āļ™āļģāđ€āļžāļīāđˆāļĄāđ€āļ•āļīāļĄāļ—āļĩāđˆāđ€āļĨāļ·āļ­āļāļŠāļģāļŦāļĢāļąāļšāļŦāļąāļ§āļ‚āđ‰āļ­āļ™āļĩāđ‰

āļ•āđˆāļ­āđ„āļ›āļ„āļģāđāļ™āļ°āļ™āļģāļ•āđˆāļ­āđ„āļ›

āļāļēāļĢāļŠāļĢāđ‰āļēāļ‡āđāļšāļšāļˆāļģāļĨāļ­āļ‡āļĢāļēāļ‡āļ§āļąāļĨ

āļ āļēāļĐāļēāđ€āļ­āđ„āļ­

āļĢāļąāļšāđƒāļšāļĢāļąāļšāļĢāļ­āļ‡ AI āļŸāļĢāļĩāļŦāļĨāļąāļāļŠāļđāļ•āļĢāđāļĨāļ°āļāļēāļĢāļŠāļ­āļšāļŠāļąāđ‰āļ™ āđ† āļŸāļĢāļĩ āđ„āļĄāđˆāļĄāļĩāļ„āđˆāļēāđƒāļŠāđ‰āļˆāđˆāļēāļĒ āđ„āļĄāđˆāļĄāļĩāļšāļąāļ•āļĢāđ€āļ„āļĢāļ”āļīāļ• āļ›āļĢāļ°āļĄāļēāļ“ 2.5 āļŠāļąāđˆāļ§āđ‚āļĄāļ‡āđ€āļĢāļīāđˆāļĄāļ•āđ‰āļ™āļŸāļĢāļĩ →