āļāđāļāđāļāļāļģāđāļāļ°āļāļģāļāđāļāđāļ
āļāļēāļĢāļŠāļĢāđāļēāļāđāļāļāļāļģāļĨāļāļāļĢāļēāļāļ§āļąāļĨ
āļ āļēāļĐāļēāđāļāđāļ
āļāļđāđāļĄāļ·āļāļāļ·āđāļāļāļēāļ
āđāļāļāļāļģāļĨāļāļāđāļāļĢāļāļĨāļĩāļĒāđ-āđāļāļāļĢāđāļĢāļĩāđāđāļāđāļāļ§āļīāļāļĩāļāļēāļĢāļāļēāļāļŠāļāļīāļāļīāļāļĩāđāļĄāļĩāļĄāļēāļāļąāļāļĻāļāļ§āļĢāļĢāļĐāđāļāļāļēāļĢāđāļāļĨāļĩāđāļĒāļāļāļēāļĢāđāļāļĢāļĩāļĒāļāđāļāļĩāļĒāļāđāļāļāļāļđāđ (A āđāļāđāļ B) āđāļŦāđāđāļāđāļāļāļ°āđāļāļāļāļąāļ§āđāļĨāļ
āļāļąāļāļāļģāđāļāļ°āļāļģāļāļĩāđāļāļĢāļĢāļĒāļēāļĒāđāļāļĒ AI · ~2 min
āđāļ AI āļŠāļĄāļąāļĒāđāļŦāļĄāđ āļĄāļąāļāļāļąāļāđāļāļĨāļ·āđāļāļāđāļĄāđāļāļĨāļĢāļēāļāļ§āļąāļĨāļāļĩāđāđāļĢāļĩāļĒāļāļĢāļđāđāļāļ§āļēāļĄāļāļāļāļāļāļāļĄāļāļļāļĐāļĒāđāļāļēāļāļāđāļēāļĒāļāđāļēāļāļąāļ 'āļāđāļēāļāļāļāđāļŦāļāļāļĩāļāļ§āđāļē?' āļāļķāđāļāđāļāđāļāđāļāļāļŦāļĨāļąāļāļāļāļ RLHF
Bradley-Terry āđāļāļīāļāļāļąāļ§āđāļāļāļĩ 1952 āđāļāļĒāļāļ·āļāļ§āđāļēāļāļļāļāļĢāļēāļĒāļāļēāļĢāļĄāļĩāļāļ°āđāļāļāļāļ§āļēāļĄāđāļāđāļāđāļāļĢāđāļāļāļĩāđāļāđāļāļāļāļĒāļđāđ āđāļĨāļ°āļāļ§āļēāļĄāļāđāļēāļāļ°āđāļāđāļāļāļĩāđāļĢāļēāļĒāļāļēāļĢ A āļāļāļ°āļĢāļēāļĒāļāļēāļĢ B āļāļ·āļāļāļąāļāļāđāļāļąāļāļĨāļāļāļīāļŠāļāļīāļāļŠāđāļāļāļāļāļĨāļāđāļēāļāļāļāļāļāļ°āđāļāļ āđāļāļāļēāļĢāļāļąāļāļāļģāđāļŦāļāđāļ AI āļāļēāļĢāļāļąāļāļāļđāđāļāļĩāđāļāļ°āđāļĄāđāļāđāļāđāļēāļāļąāļāļāđāļāļĄāļđāļĨāļāļēāļĢāļāļąāđāļāļāđāļēāļāļĒāđāļēāļāđāļĢāļĩāļĒāļāļĢāđāļāļĒ: āļāļđāđāļāļīāļāļāđāļēāļĒāļāļģāļāļąāļāļāļĩāđāđāļāđāļāļĄāļāļļāļĐāļĒāđāļāļ°āđāļŦāđāļāļāļēāļĢāļāļāļāļŠāļāļāļāļāļāļāđāļāļāļāļģāļĨāļāļāļŠāļāļāđāļāļāđāļĨāļ°āđāļĨāļ·āļāļāđāļāļāļāļģāļĨāļāļāļāļĩāđāļāļĩāļāļ§āđāļē āđāļāļāļāļĩāđāļāļ°āđāļŦāđāļāļ°āđāļāļāļŠāļąāļĄāļāļđāļĢāļāđāļāļĩāđāļĒāļēāļāļāđāļāļāļēāļĢāļŠāļāļāđāļāļĩāļĒāļ āđāļĄāđāļāļĨāļĢāļēāļāļ§āļąāļĨ āļāļķāđāļāđāļāļĒāļāļāļāļīāļāļ°āđāļāđāļāđāļĄāđāļāļĨāļ āļēāļĐāļēāļāļĩāđāļĄāļĩāļŦāļąāļ§āđāļāļēāļāđāļāļļāļāđāļāļāļŠāđāļāļĨāļēāļĢāđ āđāļāđāļĢāļąāļāļāļēāļĢāļāļķāļāļāļāļĢāļĄāđāļāļ·āđāļāđāļŦāđāļāļēāļĢāļāļāļāļŠāļāļāļāļāļĩāđāļĄāļāļļāļĐāļĒāđāļāđāļāļāļāļēāļĢāļāļ°āđāļāđāļĢāļąāļāļĢāļēāļāļ§āļąāļĨāļŠāđāļāļĨāļēāļĢāđāļāļĩāđāļŠāļđāļāļāļ§āđāļē āļāļēāļĢāļŠāļđāļāđāļŠāļĩāļĒāļāļ·āļāļāļ§āļēāļĄāđāļāđāļāđāļāđāļāđāļāļāļāļāļąāļāļāļķāļāđāļāļīāļāļĨāļāļāļāļāļāļ§āļēāļĄāļāđāļēāļāļ°āđāļāđāļāļāļāļāđāļāļĢāļāļĨāļĩāļĒāđ-āđāļāļāļĢāđāļĢāļĩāđ: āđāļāļīāđāļĄāļĨāđāļāļāļāļīāļāļĄāļāļĒāļāđāđāļŦāđāļŠāļđāļāļŠāļļāļ (āļĢāļēāļāļ§āļąāļĨāļāļāļāļāļĩāđāđāļĨāļ·āļāļāļĨāļāļĢāļēāļāļ§āļąāļĨāļāļāļāļāļēāļĢāļāļāļīāđāļŠāļ) āđāļĄāđāļāļĨāļāļēāļĢāđāļŦāđāļĢāļēāļāļ§āļąāļĨāļāļĩāđāđāļāđāļāļ°āđāļŦāđāļāļ°āđāļāļāđāļāļēāļāđāļāļļāļāļāļēāļĄāļāļģāđāļ āļāđāļ āđāļāļĒāđāļŦāđāļŠāļąāļāļāļēāļāļ§āđāļēāļāļēāļĢāđāļŠāļĢāļīāļĄāļāļąāļĨāļāļāļĢāļīāļāļķāļĄāļāļēāļĢāđāļĢāļĩāļĒāļāļĢāļđāđ āđāļāđāļ PPO āļāļĢāļąāļāđāļŦāđāđāļŦāļĄāļēāļ°āļŠāļĄāđāļāļ·āđāļāđāļŦāđāđāļĄāđāļāļĨāļĄāļĩāļāļĢāļ°āđāļĒāļāļāđāđāļĨāļ°āļŠāļāļāļāļĨāđāļāļāļāļąāļāļĄāļēāļāļāļķāđāļ
āļāļķāļāļāļāļĢāļĄāđāļĄāđāļāļĨāļĢāļēāļāļ§āļąāļĨāđāļ RLHF āļāļĩāđāļāļąāļāļāļąāļāļāļąāļāļāļēāļĢāļāļāļāļŠāļāļāļāđāļāļāļāļāļāļŠāļāļāļāļąāļ§ āđāļĨāļ°āļāđāļāļāļŠāļąāļāļāļēāļāļāļĩāđāļāļĩāļāļ§āđāļēāđāļĨāļ°āđāļĒāđāļāļ§āđāļēāļāļąāđāļāđāļāļĒāļąāļāļāļēāļĢāļāļĢāļąāļāđāļāđāļ PPO āļāļĒāđāļēāļāļĨāļ°āđāļāļĩāļĒāļ
āļāļēāļĢāđāļāļīāđāļĄāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļāļāļēāļĢāļāļģāļŦāļāļāļĨāļąāļāļĐāļāļ°āđāļāļĒāļāļĢāļ āļāļĢāļąāļāđāļāđāļāđāļāļāļāļģāļĨāļāļāđāļāļĒāļāļĢāļāđāļāļāļđāđāļāļģāļāļāļāļāļĩāđāđāļĨāļ·āļāļāđāļĨāļ°āļāļđāļāļāļāļīāđāļŠāļāđāļāļĒāđāļāđāļāļēāļĢāļŠāļđāļāđāļŠāļĩāļĒāļāļąāļāļāļķāļāļāļīāļāļĄāļāļĒāļāđāļāļāļāđāļāļĢāļāļĨāļĩāļĒāđ-āđāļāļāļĢāđāļĢāļĩāđ
āļāļąāļāļāļąāļāļāļąāļāļāļđāđāđāļĨāđāļāļŦāļĄāļēāļāļĢāļļāļāļŦāļĢāļ·āļ esports āļāđāļēāļ Elo āļāļķāđāļāđāļāđāļāļāļēāļāļīāļŠāļāļīāļāļāļāļāđāļāļāļāļģāļĨāļāļ Bradley-Terry āđāļāļāļĨāļĨāļąāļāļāđāļāļāļāđāļāļĄ
āļāļēāļĢāļŠāļĢāđāļēāļāļāļąāļāļāļąāļāļāļēāļĢāđāļāļ°āļāļģāđāļāļ·āđāļāļŦāļēāļāļēāļāļāđāļāļĄāļđāļĨāļāļēāļĢāļāļĨāļīāļ 'āļāļđāđāđāļāđāļāļĩāđāļāđāļāļāļāļēāļĢ A āļĄāļēāļāļāļ§āđāļē B' āđāļāļāļāļĩāđāļāļ°āđāļŦāđāļāļ°āđāļāļāļāļēāļ§āđāļāļāļŠāļąāļĄāļāļđāļĢāļāđ
āđāļāļĢāļāļĨāļĩāļĒāđ-āđāļāļāļĢāđāļĢāļĩāđāļāļ·āļāļ§āđāļēāļāļēāļĢāļāļąāļāļāļąāļāļāļąāļāđāļĨāļ°āļāļēāļĢāļāļąāđāļāļāđāļēāđāļāļāļŠāļāļĢāļĢāļĄāļāļĢāļīāļĒāļēāļāļĩāđāļŠāļāļāļāļĨāđāļāļāļāļąāļāđāļāļĩāļĒāļāļĢāļēāļĒāļāļēāļĢāđāļāļĩāļĒāļ§ āļāļķāđāļāļāļ°āļāļąāļāļāļĨāļēāļĒāļĨāļāđāļĄāļ·āđāļāļĄāļāļļāļĐāļĒāđāđāļĄāđāđāļŦāđāļāļāđāļ§āļĒāļŦāļĢāļ·āļāļ§āļāļāļĢāļāļēāļĢāļāļąāđāļāļāđāļē āļāļēāļĢāļ§āļīāļāļąāļĒāļāļģāļĨāļąāļāļĄāļļāđāļāļŠāļđāđāđāļĄāđāļāļĨāļāļĩāđāļĢāļ§āļāļĢāļ§āļĄāļāļēāļĢāļāļĢāļ°āļāļēāļĒāļāļ§āļēāļĄāļāļāļ āļĢāļēāļāļ§āļąāļĨāļŦāļĨāļēāļĒāļĄāļīāļāļī (āļāļ§āļēāļĄāļāđāļ§āļĒāđāļŦāļĨāļ·āļ āļāļ§āļēāļĄāļāļĨāļāļāļ āļąāļĒ āļāļ§āļēāļĄāļāļ·āđāļāļŠāļąāļāļĒāđāđāļŦāđāļāļ°āđāļāļāđāļĒāļāļāļąāļ) āđāļĨāļ°āļ§āļīāļāļĩāļāļēāļĢāļāđāļēāļāđ āđāļāđāļ āļāļēāļĢāđāļĢāļĩāļĒāļāļĢāļđāđāļāļāļāđāļāļāļāļēāļāļāļ§āļēāļĄāļāļīāļāđāļŦāđāļāļāļāļāļĄāļāļļāļĐāļĒāđāļāļĩāđāļĨāļ°āļāļīāđāļāļŠāļĄāļĄāļāļīāļāļēāļāđāļāļāļāļ°āđāļāļāđāļāļĩāļĒāļ§ DPO āđāļĨāļ°āļāļąāļ§āđāļāļĢāļāđāļēāļāđ āđāļāļ·āđāļāļĄāđāļĒāļāļ§āļąāļāļāļļāļāļĢāļ°āļŠāļāļāđāļāļāļāđāļāļĢāļāļĨāļĩāļĒāđ-āđāļāļāļĢāđāļĢāļĩāđāđāļāđāļēāļāļąāļāļāļēāļĢāļāļķāļāļāļāļĢāļĄāļāđāļēāļāļāđāļĒāļāļēāļĒāđāļāļĒāļāļĢāļāļĄāļēāļāļāļķāđāļāđāļĢāļ·āđāļāļĒāđ āļāļēāļāļ§āđāļēāļāļ°āļĄāļĩāļĢāļđāļāđāļāļāļāļēāļĢāđāļāļĢāļĩāļĒāļāđāļāļĩāļĒāļāļāļĩāđāļŠāļĄāļāļđāļĢāļāđāļĒāļīāđāļāļāļķāđāļ āļĢāļ§āļĄāļāļķāļāļāļēāļĢāļāļąāļāļāļąāļāļāļąāļāļĄāļēāļāļāļ§āđāļēāļŠāļāļāļĢāļēāļĒāļāļēāļĢāđāļĨāļ°āļāļēāļĢāļāļąāđāļāļāđāļēāļāļĩāđāļāđāļ§āļāļāđāļģāļŦāļāļąāļāļāđāļ§āļĒāļāļ§āļēāļĄāļĄāļąāđāļāđāļ āđāļāļ·āđāļāļĨāļāļāļēāļĢāđāļŪāđāļāļĢāļēāļāļ§āļąāļĨ
āļāļāļŦāļĄāļēāļĒāļāđāļēāļ§āļāļĢāļĩ
āđāļĢāļ·āđāļāļāļĢāļēāļ§ AI āļāļĩāđāļāļĢāļ§āļāļŠāļāļāđāļĨāđāļ§ 3 āđāļĢāļ·āđāļāļāļāļļāļāļ§āļąāļāļāļģāļāļēāļ āđāļāđāļē, āđāļāļĩāļĒāļāđāļāđāļāļ āļēāļĐāļēāļāļąāļāļāļĪāļĐāļāļĢāļĢāļĄāļāļē āļāļĢāļĩāļāļĨāļāļāđāļ āđāļĄāđāļĄāļĩāđāļāļĐāļāļē
āļāļĩāđāļĄāļĨāļŦāļāļķāđāļāļāļāļąāļāļāļļāļāļ§āļąāļāļāļģāļāļēāļ āļĒāļāđāļĨāļīāļāļāļēāļĢāļŠāļĄāļąāļāļĢāđāļāļāļĨāļīāļāđāļāļĩāļĒāļ§ āđāļĢāļēāđāļĄāđāđāļāļĒāļāļēāļĒāļŦāļĢāļ·āļāđāļāļĢāđāļāļĩāđāļāļĒāļđāđāļāļĩāđāļĄāļĨāļāļāļāļāļļāļ
āļāļāļŠāļāļāļāļąāļ§āđāļāļ
āļāđāļāđāļŠāļāļāđāļāļ°āļāļąāļāļāļĩāļŠāļģāļŦāļĢāļąāļāļāļļāļāļāļģāļāļāļ āđāļĨāļ°āđāļāļĢāļąāļāļĢāļāļāļāļĩāđāļŠāļēāļĄāļēāļĢāļāđāļāļĢāđāđāļāđāļāļĢāđāļāļĄ ID āļāļĩāđāļāļĢāļ§āļāļŠāļāļāđāļāđāđāļĄāļ·āđāļāļāļļāļāļāđāļēāļāļŦāļĨāļąāļāļŠāļđāļāļĢ
āļŠāļāļąāļāļŠāļāļļāļāļāļēāļĢāļĻāļķāļāļĐāļē AI āļāļĢāļĩ AI Understanding āđāļāđāļāļāļāļāđāļāļĢāđāļĄāđāđāļŠāļ§āļāļŦāļēāļāļĨāļāļģāđāļĢ 501(c)(3) â āđāļĄāđāļĄāļĩāđāļāļĐāļāļē āđāļĄāđāļĄāļĩāļāļģāđāļāļāđāļāļīāļ, āļāļĨāļāļāđāļ āļāļĢāļīāļāļēāļ
āđāļāļāļāļģāļĨāļāļāđāļāļĢāļāļĨāļĩāļĒāđ-āđāļāļāļĢāđāļĢāļĩāđāđāļāđāļāļ§āļīāļāļĩāļāļēāļĢāļāļēāļāļŠāļāļīāļāļīāļāļĩāđāļĄāļĩāļĄāļēāļāļąāļāļĻāļāļ§āļĢāļĢāļĐāđāļāļāļēāļĢāđāļāļĨāļĩāđāļĒāļāļāļēāļĢāđāļāļĢāļĩāļĒāļāđāļāļĩāļĒāļāđāļāļāļāļđāđ (A āđāļāđāļ B) āđāļŦāđāđāļāđāļāļāļ°āđāļāļāļāļąāļ§āđāļĨāļ āđāļ AI āļŠāļĄāļąāļĒāđāļŦāļĄāđ āļāļ°āļāļąāļāđāļāļĨāļ·āđāļāļāđāļĄāđāļāļĨāļāļēāļĢāđāļŦāđāļĢāļēāļāļ§āļąāļĨāļāļĩāđāđāļĢāļĩāļĒāļāļĢāļđāđāļāļ§āļēāļĄāļāļāļāļāļāļāļĄāļāļļāļĐāļĒāđāļāļēāļ 'āļāļģāļāļāļāđāļŦāļāļāļĩāļāļ§āđāļēāļāļąāļ' āļāļĨāļēāļ āļŦāļąāļ§āđāļāļāļāļ RLHF
āđāļāļĢāļāļĨāļĩāļĒāđ-āđāļāļāļĢāđāļĢāļĩāđāđāļāđāļāļēāļĢāđāļāļĢāļĩāļĒāļāđāļāļĩāļĒāļ 'A āđāļāđāļ B' āđāļāļāļāļđāđ āđāļĨāļ°āļāļāļļāļĄāļēāļāļāļ°āđāļāļāļāļ§āļēāļĄāđāļāđāļāđāļāļĢāđāļāļāļĩāđāļāđāļāļāļāļĒāļđāđāļŠāļģāļŦāļĢāļąāļāđāļāđāļĨāļ°āļĢāļēāļĒāļāļēāļĢ āļāļķāđāļāđāļāđāļāđāļŦāļāļļāļāļĨāļ§āđāļēāļāļģāđāļĄāļāļķāļāđāļŦāļĄāļēāļ°āļāļąāļāļāļēāļĢāļāļīāļāļāđāļēāļĒāļāļģāļāļąāļāļāļ§āļēāļĄāļāļāļāļāļāļāļĄāļāļļāļĐāļĒāđāđāļāđāđāļāđāļāļāļĒāđāļēāļāļāļĩ
āđāļāļāļāļģāļĨāļāļāļāļąāđāļāļāđāļē P(A āđāļāđāļ B) āđāļāđāļēāļāļąāļāļĨāļāļāļīāļŠāļāļīāļ (āļāļīāļāļĄāļāļĒāļāđ) āļāļāļāļāļ§āļēāļĄāđāļāļāļāđāļēāļāļĢāļ°āļŦāļ§āđāļēāļāļāļ°āđāļāļāļāļ§āļēāļĄāđāļāđāļāđāļāļĢāđāļāļāļĩāđāļāđāļāļāļāļĒāļđāđāļāļāļ A āđāļĨāļ° B
āļāļēāļĢāļŠāļđāļāđāļŠāļĩāļĒāļāļēāļĢāļāļķāļāđāļāđāđāļāļāļēāļ°āļŠāđāļ§āļāļāđāļēāļāļĢāļ°āļŦāļ§āđāļēāļāļĢāļēāļāļ§āļąāļĨāļāļĩāđāđāļĨāļ·āļāļāđāļĨāļ°āļĢāļēāļāļ§āļąāļĨāļāļĩāđāļāļđāļāļāļāļīāđāļŠāļ āļāļąāļāļāļąāđāļāļāļēāļĢāđāļāļĨāļĩāđāļĒāļāļāļ°āđāļāļāļāļąāđāļāļŦāļĄāļāļāđāļ§āļĒāļāđāļēāļāļāļāļĩāđāđāļāļĩāļĒāļ§āļāļąāļāļāļ°āļāļģāđāļŦāđāļāļēāļĢāļŠāļđāļāđāļŠāļĩāļĒāđāļĄāđāđāļāļĨāļĩāđāļĒāļāđāļāļĨāļ āļāļāļēāļāļŠāļąāļĄāļāļđāļĢāļāđāđāļāđāļāđāļāļāļēāļĄāļāļģāđāļ āļāđāļ
āđāļāļāļēāļŠāļāļąāļāļāļķāļāđāļāļīāļāļĨāļāļāļāļāđāļāļĢāļāļĨāļĩāļĒāđ-āđāļāļāļĢāđāļĢāļĩāđāļĨāļāļĨāļāđāļŦāļĨāļ·āļāļĨāļ log-sigmoid āļāļāļāļāļĨāļāđāļēāļāļĢāļēāļāļ§āļąāļĨāļāļĩāđāđāļĨāļ·āļāļ-āļĨāļ-āļāļāļīāđāļŠāļ āļŠāđāļāļāļĨāđāļŦāđāļĢāļēāļāļ§āļąāļĨāļāļāļāļāļģāļāļāļāļāļĩāđāđāļĨāļ·āļāļāļŠāļđāļāļāļķāđāļ
DPO āļāļĢāļąāļāđāļāļĢāļāļŠāļĢāđāļēāļāļ§āļąāļāļāļļāļāļĢāļ°āļŠāļāļāđāļāļēāļĢāļāļąāđāļāļāđāļēāļāļāļāđāļāļĢāļāļĨāļĩāļĒāđ-āđāļāļāļĢāđāļĢāļĩāđ āđāļāļ·āđāļāđāļŦāđāļŠāļēāļĄāļēāļĢāļāļāļģāđāļāđāļāđāļāļąāļāđāļĄāđāļāļĨāļāđāļĒāļāļēāļĒāđāļāđāđāļāļĒāļāļĢāļ āđāļāļĒāđāļĄāđāļāļģāđāļāđāļāļāđāļāļāļāļķāļāļāļāļĢāļĄāđāļĨāļ°āļŠāļāļāļāļēāļĄāđāļĄāđāļāļĨāļĢāļēāļāļ§āļąāļĨāđāļāļāļŠāđāļāļāļāđāļāđāļĨāļ
āđāļĢāļĩāļĒāļāļĢāļđāđāļāđāļāđāļ
āļāļģāđāļāļ°āļāļģāđāļāļīāđāļĄāđāļāļīāļĄāļāļĩāđāđāļĨāļ·āļāļāļŠāļģāļŦāļĢāļąāļāļŦāļąāļ§āļāđāļāļāļĩāđ
āļāđāļāđāļāļāļģāđāļāļ°āļāļģāļāđāļāđāļ
āļāļēāļĢāļŠāļĢāđāļēāļāđāļāļāļāļģāļĨāļāļāļĢāļēāļāļ§āļąāļĨ
āļ āļēāļĐāļēāđāļāđāļ