āļāđāļāđāļāļāļģāđāļāļ°āļāļģāļāđāļāđāļ
āļāļēāļĢāļŠāļāļĢāļĩāļĄāļĄāļīāđāļāđāļāļāđāļāđāļāļāļģāđāļĢāđāļĨāļ°āļāļēāļĢāļāļēāļāļāļēāļĢāļāđāđāļāļāļŦāļĨāļēāļĒāđāļāđāļāđāļ
āđāļāļāļāļīāļ
āļāļđāđāļĄāļ·āļāļāļēāļāđāļāļāļāļīāļ
āđāļāļĢāļāļĩāđāļĄāļĩāļāļēāļ§āļļāļāļŦāļĨāļēāļāļŦāļĨāļēāļĒāļāļ·āļāļāļąāļāļŦāļēāđāļāļāļēāļĢāļāļąāļāļŠāļīāļāđāļ āļāļķāđāļāļāļļāļāļāļ°āļāđāļāļāđāļĨāļ·āļāļāļĢāļ°āļŦāļ§āđāļēāļāļāļąāļ§āđāļĨāļ·āļāļāļāļĩāđāđāļĄāđāļāļĢāļēāļāļāļĨāļāļāļāđāļāļāļāđāļģāđ āđāļĨāļ°āđāļĢāļĩāļĒāļāļĢāļđāđāđāļāļāļĢāđāļāļĄāđ āļāļąāļ āđāļāļĒāļŠāļĢāđāļēāļāļŠāļĄāļāļļāļĨāđāļŦāđāļāļąāļāļāļēāļĢāļŠāļģāļĢāļ§āļāļāļąāļ§āđāļĨāļ·āļāļāđāļŦāļĄāđāđ āļāļąāļāļāļēāļĢāđāļāđāļāļĢāļ°āđāļĒāļāļāđāļāļēāļāļāļąāļ§āđāļĨāļ·āļāļāļāļĩāđāļāļĩāļāļĩāđāļŠāļļāļāļāļĩāđāļāļ
āļāļąāļāļāļģāđāļāļ°āļāļģāļāļĩāđāļāļĢāļĢāļĒāļēāļĒāđāļāļĒ AI · ~2 min
It powers A/B testing, recommendations, and online ad selection.
āļāļ·āđāļāļāļĩāđāđāļāđāļĄāļēāļāļēāļāļāļąāļāļāļāļąāļāļāļĩāđāļāđāļāļāđāļāļāļīāļāļāļąāļāļŠāļĨāđāļāļāđāļĄāļāļāļĩāļāļŦāļĨāļēāļĒāđāļāļĢāļ·āđāļāļ (āđāļāļĢāļāļīāļāļāļēāļ§āļļāļāđāļāļĩāļĒāļ§) āļāļķāđāļāđāļāđāļĨāļ°āđāļāļĢāļ·āđāļāļāļĄāļĩāļāļąāļāļĢāļēāļāļēāļĢāļāļāļ°āļāļĩāđāđāļĄāđāļĢāļđāđāļāļąāļ āļāļķāđāļāļāđāļāļāļāļēāļĢāđāļāļīāđāļĄāļĢāļēāļāļ§āļąāļĨāļŠāļđāļāļŠāļļāļāļāļēāļāļāļēāļĢāļāļķāļāļŦāļĨāļēāļĒāļāļĢāļąāđāļ āļāļ§āļēāļĄāļāļķāļāđāļāļĢāļĩāļĒāļāļŦāļĨāļąāļāļāļĒāļđāđāļāļĩāđāļāļēāļĢāđāļĨāļāđāļāļĨāļĩāđāļĒāļāļĢāļ°āļŦāļ§āđāļēāļāļāļēāļĢāļŠāļģāļĢāļ§āļāđāļĨāļ°āļāļēāļĢāđāļŠāļ§āļāļŦāļēāļāļĨāļāļĢāļ°āđāļĒāļāļāđ: āļāļķāļāđāļāļāļāļĩāđāļāļđāļāļĩāļāļĩāđāļŠāļļāļāļāđāļāđāļ āļŦāļĢāļ·āļāļŠāļļāđāļĄāļāļąāļ§āļāļĒāđāļēāļāđāļāļāļāļĩāđāđāļĄāđāđāļāđāļāļāļāđāļāļ·āđāļāđāļĢāļĩāļĒāļāļĢāļđāđāđāļāļīāđāļĄāđāļāļīāļĄ āļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļāļ§āļąāļāđāļāđāļāļēāļāļāļ§āļēāļĄāđāļŠāļĩāļĒāđāļ āļāđāļāļāļ§āđāļēāļāļŠāļ°āļŠāļĄāļĢāļ°āļŦāļ§āđāļēāļāļĢāļēāļāļ§āļąāļĨāļāļāļāļāļļāļāđāļĨāļ°āļāļēāļĢāđāļĨāļ·āļāļāļāļĨāļļāđāļĄāļāļĩāđāļāļĩāļāļĩāđāļŠāļļāļāđāļŠāļĄāļ āļāļąāļĨāļāļāļĢāļīāļāļķāļĄāļāļĩāđāļāļĩāļāļ°āļāļģāđāļŦāđāđāļāļīāļāļāļ§āļēāļĄāđāļŠāļĩāļĒāđāļāļāļķāđāļāļāļ°āđāļāļīāđāļĄāļāļķāđāļāļāļēāļĄāļĨāļāļāļēāļĢāļīāļāļķāļĄāļāļēāļĄāļāļģāļāļ§āļāļĢāļāļāđāļāđāļēāļāļąāđāļ āļāļĨāļĒāļļāļāļāđāļāļĨāļēāļŠāļŠāļīāļ āđāļāđāđāļāđ epsilon-greedy (āđāļāđāļāļĢāļ°āđāļĒāļāļāđ āđāļāđāļŠāļģāļĢāļ§āļāđāļāļāļŠāļļāđāļĄāđāļāļĒāļĄāļĩāļāļ§āļēāļĄāļāđāļēāļāļ°āđāļāđāļāđāļĨāđāļāļāđāļāļĒ), Upper Confidence Bound (āđāļĨāļ·āļāļāđāļāļāļāļĩāđāļĄāļĩāļāļēāļĢāļāļĢāļ°āļĄāļēāļāļāļēāļĢāđāļāđāļāđāļāļĩāļŠāļđāļāļŠāļļāļ) āđāļĨāļ° Thompson sampling (āļāļąāļ§āļāļĒāđāļēāļāļāļēāļāļāļ§āļēāļĄāđāļāļ·āđāļāļŦāļĨāļąāļāļāļāļāđāļāđāļĨāļ°āđāļāļāļāđāļĨāđāļ§āđāļĨāđāļāđāļāđāļāļāļđāđāļāļāļ°) āđāļāļĢāļāļēāļĄāļāļĢāļīāļāļāļāļĒāļēāļĒāļŠāļīāđāļāļāļĩāđāđāļāļĒāđāļāđāļāļļāļāļĨāļąāļāļĐāļāļ°āļāļāļāļŠāļāļēāļāļāļēāļĢāļāđāđāļāļ·āđāļāđāļĨāļ·āļāļ
āđāļ§āđāļāđāļāļāđāļāđāļēāļ§āđāļāđāđāļāļĢāđāļāļāļēāļĢāļāļąāļāļŠāļīāļāđāļāļ§āđāļēāļāļ°āđāļŠāļāļāļāļēāļāļŦāļąāļ§āļāđāļēāļ§āļĢāļđāļāđāļāļāđāļ āļāļķāđāļāļāļ°āļāļģāđāļŦāđāļāļĢāļīāļĄāļēāļāļāļēāļĢāđāļāđāļēāļāļĄāđāļāļĒāļąāļāđāļ§āļāļĢāđāļāļąāļāļāļĩāđāđāļāđāļĢāļąāļāļāļĨāļīāļāļĄāļēāļāļāļĩāđāļŠāļļāļāļāļĒāđāļēāļāļĢāļ§āļāđāļĢāđāļ§
āđāļāļĨāļāļāļāļĢāđāļĄāđāļāļĐāļāļēāļāļāļāđāļĨāļāđāļāļąāļāļŠāļĢāļĢāļāļēāļĢāđāļŠāļāļāļāļĨāđāļāļĐāļāļēāļāđāļ§āļĒāļāļēāļĢāļŠāļļāđāļĄāļāļąāļ§āļāļĒāđāļēāļ Thompson āđāļāļ·āđāļāđāļāļīāđāļĄāļāļēāļĢāļāļĨāļīāļāļāđāļēāļāļŠāļđāļāļŠāļļāļāđāļāļāļāļ°āļāļĩāđāļĒāļąāļāļāļāļāļāļŠāļāļāđāļāļĐāļāļēāđāļŦāļĄāđ
āļāļēāļĢāļāļāļĨāļāļāļāļēāļāļāļĨāļīāļāļīāļāđāļāļāļāļĢāļąāļāđāļāļĨāļĩāđāļĒāļāđāļāđāļĄāļāļāļŦāļĄāļēāļĒāđāļŦāđāļāļđāđāļāđāļ§āļĒāļāļģāļāļ§āļāļĄāļēāļāļāļķāđāļāđāļāđāļĢāļąāļāļāļēāļĢāļĢāļąāļāļĐāļēāļāļĩāđāđāļŦāđāļāļĨāļĨāļąāļāļāđāļāļĩāđāļāļĩāļāļķāđāļ āđāļāļĒāļĨāļāļāļēāļĢāļŠāļąāļĄāļāļąāļŠāļāļąāļāđāļāļāļāļĩāđāļāđāļāļĒāļāļ§āđāļē
āļāļĢāļīāļāļēāļĢāļŠāļāļĢāļĩāļĄāļĄāļīāđāļāļāļĢāļąāļāđāļāđāļāļ āļēāļāļāļāļēāļāļĒāđāļāļāļģāđāļāļ°āļāļģāļāđāļāļāļđāđāđāļāđāļāļĢāđāļāļĄāđāļāļĢāļāļēāļĄāļāļĢāļīāļāļāļāļĩāđāļāđāļēāļāļāļļāļāļŠāļĄāļāļąāļāļīāļāļĢāļ°āļ§āļąāļāļīāļāļēāļĢāļāļđ
Bandits āļāļģāļĨāļąāļāđāļāļĢāđāļāļĢāļ°āļāļēāļĒāđāļāļŠāļđāđāļāļēāļĢāđāļĢāļĩāļĒāļāļĢāļđāđāđāļāļāđāļŠāļĢāļīāļĄāļāļģāļĨāļąāļ āđāļāļĒāļāļĩāđāļāļ§āļāđāļāļēāļŠāļĢāđāļēāļāļāļĨāđāļāļāļāļēāļĢāļŠāļĢāđāļēāļāļāļĩāđāļāđāļēāļĒāļāļĩāđāļŠāļļāļ āđāļĨāļ°āđāļāļŠāļđāđāļāļēāļĢāļāļĢāļąāļāđāļāļĨāļĩāđāļĒāļāđāļāđāļāļāļāļāļāļāļļāļāļāļāļēāļāđāļŦāļāđāļāđāļ§āļĒāđāļāļĢāļāļēāļĄāļāļĢāļīāļāļāđāļĨāļ°āļāļĢāļ°āļŠāļēāļāļāļĩāđāļāđāļēāļāļāļļāļāļŠāļĄāļāļąāļāļīāļāļĩāđāļŦāļĨāļēāļāļŦāļĨāļēāļĒ āļāļēāļĢāļ§āļīāļāļąāļĒāđāļāļīāļāļĢāļļāļāļĄāļļāđāļāđāļāđāļēāđāļāļāļĩāđāļĢāļēāļāļ§āļąāļĨāļāļĩāđāđāļĄāđāļāļāļāļĩāđāļāļķāđāļāđāļĨāļ·āđāļāļāļĨāļāļĒāđāļāļāļēāļĄāļāļēāļĨāđāļ§āļĨāļē āđāļāļĢāļāļĩāđāļĄāļĩāļāđāļāļāļģāļāļąāļāļāđāļēāļāļāļ§āļēāļĄāļāļĨāļāļāļ āļąāļĒāļŦāļĢāļ·āļāļāļ§āļēāļĄāļĒāļļāļāļīāļāļĢāļĢāļĄ āđāļĨāļ°āļāļŠāļĄāļāļŠāļēāļāđāļāļĢāđāļāđāļēāļāļąāļāļāļēāļĢāđāļĢāļĩāļĒāļāļĢāļđāđāđāļāļīāļāļĨāļķāļāđāļāļāļēāļĢāļāļģāđāļŠāļāļ āļāļēāļāļŦāļ§āļąāļāļ§āđāļēāļŠāļīāđāļāđāļŦāļĨāđāļēāļāļĩāđāļāļ°āļāļąāļāļāļĒāļđāđāđāļāļāļēāļĢāļāļāļĨāļāļāļāļēāļāļāļĨāļīāļāļīāļāđāļāļāļāļĢāļąāļāđāļāļĨāļĩāđāļĒāļāđāļāđ āļāļēāļĢāļāļģāļŦāļāļāļĢāļēāļāļēāđāļāļāđāļāļāļēāļĄāļīāļ āđāļĨāļ°āļĢāļ°āļāļ LLM āļāļĩāđāđāļĨāļ·āļāļāļāļēāļĢāđāļāđāļāđāļāļ·āļāļāļŦāļĢāļ·āļāđāļāļĢāļ·āđāļāļāļĄāļ·āļāļāļāļāđāļĨāļāđāđāļāļāļāļ°āļāļĩāđāļāļ§āļāļāļļāļĄāļāļ§āļēāļĄāđāļŠāļĩāļĒāđāļ
āļāļāļŦāļĄāļēāļĒāļāđāļēāļ§āļāļĢāļĩ
āđāļĢāļ·āđāļāļāļĢāļēāļ§ AI āļāļĩāđāļāļĢāļ§āļāļŠāļāļāđāļĨāđāļ§ 3 āđāļĢāļ·āđāļāļāļāļļāļāļ§āļąāļāļāļģāļāļēāļ āđāļāđāļē, āđāļāļĩāļĒāļāđāļāđāļāļ āļēāļĐāļēāļāļąāļāļāļĪāļĐāļāļĢāļĢāļĄāļāļē āļāļĢāļĩāļāļĨāļāļāđāļ āđāļĄāđāļĄāļĩāđāļāļĐāļāļē
āļāļĩāđāļĄāļĨāļŦāļāļķāđāļāļāļāļąāļāļāļļāļāļ§āļąāļāļāļģāļāļēāļ āļĒāļāđāļĨāļīāļāļāļēāļĢāļŠāļĄāļąāļāļĢāđāļāļāļĨāļīāļāđāļāļĩāļĒāļ§ āđāļĢāļēāđāļĄāđāđāļāļĒāļāļēāļĒāļŦāļĢāļ·āļāđāļāļĢāđāļāļĩāđāļāļĒāļđāđāļāļĩāđāļĄāļĨāļāļāļāļāļļāļ
āļāļāļŠāļāļāļāļąāļ§āđāļāļ
āļāđāļāđāļŠāļāļāđāļāļ°āļāļąāļāļāļĩāļŠāļģāļŦāļĢāļąāļāļāļļāļāļāļģāļāļāļ āđāļĨāļ°āđāļāļĢāļąāļāļĢāļāļāļāļĩāđāļŠāļēāļĄāļēāļĢāļāđāļāļĢāđāđāļāđāļāļĢāđāļāļĄ ID āļāļĩāđāļāļĢāļ§āļāļŠāļāļāđāļāđāđāļĄāļ·āđāļāļāļļāļāļāđāļēāļāļŦāļĨāļąāļāļŠāļđāļāļĢ
āļŠāļāļąāļāļŠāļāļļāļāļāļēāļĢāļĻāļķāļāļĐāļē AI āļāļĢāļĩ AI Understanding āđāļāđāļāļāļāļāđāļāļĢāđāļĄāđāđāļŠāļ§āļāļŦāļēāļāļĨāļāļģāđāļĢ 501(c)(3) â āđāļĄāđāļĄāļĩāđāļāļĐāļāļē āđāļĄāđāļĄāļĩāļāļģāđāļāļāđāļāļīāļ, āļāļĨāļāļāđāļ āļāļĢāļīāļāļēāļ
āđāļāļĢāļāļĩāđāļĄāļĩāļāļēāļ§āļļāļāļŦāļĨāļēāļāļŦāļĨāļēāļĒāļāļ·āļāļāļąāļāļŦāļēāđāļāļāļēāļĢāļāļąāļāļŠāļīāļāđāļ āļāļķāđāļāļāļļāļāļāļ°āļāđāļāļāđāļĨāļ·āļāļāļĢāļ°āļŦāļ§āđāļēāļāļāļąāļ§āđāļĨāļ·āļāļāļāļĩāđāđāļĄāđāļāļĢāļēāļāļāļĨāļāļāļāđāļāļāļāđāļģāđ āđāļĨāļ°āđāļĢāļĩāļĒāļāļĢāļđāđāđāļāļāļĢāđāļāļĄāđ āļāļąāļ āđāļāļĒāļŠāļĢāđāļēāļāļŠāļĄāļāļļāļĨāđāļŦāđāļāļąāļāļāļēāļĢāļŠāļģāļĢāļ§āļāļāļąāļ§āđāļĨāļ·āļāļāđāļŦāļĄāđāđ āļāļąāļāļāļēāļĢāđāļāđāļāļĢāļ°āđāļĒāļāļāđāļāļēāļāļāļąāļ§āđāļĨāļ·āļāļāļāļĩāđāļāļĩāļāļĩāđāļŠāļļāļāļāļĩāđāļāļ āļāļąāļāđāļāļĨāļ·āđāļāļāļāļēāļĢāļāļāļŠāļāļ A/B āļāļģāđāļāļ°āļāļģ āđāļĨāļ°āļāļēāļĢāđāļĨāļ·āļāļāđāļāļĐāļāļēāļāļāļāđāļĨāļāđ
āđāļāļāđāļāļĨāļāļāļāļđāđāļĨāļ°āđāļĄāļāļŦāļēāļāļĢāļ°āđāļĒāļāļāđāļāļēāļāđāļāļāļāļĩāđāļāļĩāļāļĩāđāļŠāļļāļāđāļāļāļąāļāļāļļāļāļąāļāđāļāđāļāļŠāđāļ§āļāđāļŦāļāđ āđāļĨāļ°āļŠāļģāļĢāļ§āļāđāļāļāļŠāļļāđāļĄāļāļĩāđāļĄāļĩāļāļ§āļēāļĄāļāđāļēāļāļ°āđāļāđāļāđāļāļāđāļāļĨāļāļāđāļāļĩāļĒāļāđāļĨāđāļāļāđāļāļĒ
āđāļāļĢāļāļēāļĄāļāļĢāļīāļāļāļāļ°āļŠāļąāļāđāļāļāļāđāļāļĄāļđāļĨāļāđāļēāļāļāđāļēāļ (āļāļļāļāļŠāļĄāļāļąāļāļī) āđāļāļĩāđāļĒāļ§āļāļąāļāđāļāđāļĨāļ°āļĢāļāļ āđāļĨāļ°āđāļāđāļāđāļāļĄāļđāļĨāļāļąāļāļāļĨāđāļēāļ§āđāļāļ·āđāļāđāļĨāļ·āļāļāļāļĨāļļāđāļĄāļāļĩāđāļāļĩāļāļĩāđāļŠāļļāļāļŠāļģāļŦāļĢāļąāļāļāļĢāļīāļāļāļāļąāđāļ
The UCB bonus is larger for under-sampled arms and shrinks as their count grows.
Logarithmic regret is sublinear in the number of rounds, so average regret per round can decrease over time.
āđāļĢāļĩāļĒāļāļĢāļđāđāļāđāļāđāļ
āļāļģāđāļāļ°āļāļģāđāļāļīāđāļĄāđāļāļīāļĄāļāļĩāđāđāļĨāļ·āļāļāļŠāļģāļŦāļĢāļąāļāļŦāļąāļ§āļāđāļāļāļĩāđ
āļāđāļāđāļāļāļģāđāļāļ°āļāļģāļāđāļāđāļ
āļāļēāļĢāļŠāļāļĢāļĩāļĄāļĄāļīāđāļāđāļāļāđāļāđāļāļāļģāđāļĢāđāļĨāļ°āļāļēāļĢāļāļēāļāļāļēāļĢāļāđāđāļāļāļŦāļĨāļēāļĒāđāļāđāļāđāļ
āđāļāļāļāļīāļ