DalšíDalší průvodce
Spekulativní streamování a predikce více tokenů
Technický
Technický PRŮVODCE
Mnohoruký bandita je problém rozhodování, kdy si opakovaně vybíráte mezi možnostmi s neznámými výnosy a učíte se za pochodu, přičemž zkoumání nových možností vyvažujete využíváním té nejlepší, kterou jste našli.
Poslechněte si tento návodAI-vyprávěný · ~2 min
It powers A/B testing, recommendations, and online ad selection.
Jméno pochází od gamblera, který čelí několika výherním automatům (jednorukým banditům), z nichž každý má neznámou míru výher, a chce maximalizovat odměnu z mnoha tahů. Ústředním napětím je kompromis mezi prozkoumáváním a využíváním: tahejte za paži, která vypadá nejlépe, nebo si vyzkoušejte nejisté paže, abyste se dozvěděli více. Výkon se měří lítostí, kumulativní propastí mezi vašimi odměnami a vždy výběrem skutečně nejlepší paže; dobré algoritmy dosahují lítosti, která roste pouze logaritmicky v počtu kol. Mezi klasické strategie patří epsilon-chtivý (vykořisťujte, ale prozkoumejte náhodně s malou pravděpodobností), horní hranici důvěry (vyberte paži s nejvyšším optimistickým odhadem) a Thompsonovo vzorkování (vzorkujte ze zadní víry každé paže a hrajte na vítěze). Kontextuální bandité to rozšiřují tím, že si vybírají vlastnosti dané situace.
Zpravodajský web používá bandity k rozhodování, kterou variantu titulku zobrazí, a rychle tak přesune provoz na verzi, která získá nejvíce kliknutí.
Online reklamní platforma přiděluje zobrazení mezi kreativy pomocí vzorkování Thompson, aby maximalizovala proklik a přitom stále testovala nové reklamy.
Adaptivní klinická studie přiřazuje více pacientům léčbě, která vykazuje lepší výsledky a snižuje expozici méněcenným pažím.
Streamovací služba vyladí miniatury doporučení pro každého uživatele pomocí kontextových banditů, kteří čtou funkce historie sledování.
Bandité se šíří do posilovacího učení, kde tvoří nejjednodušší stavební kámen, a do rozsáhlé personalizace s kontextovými a neuronovými bandity, kteří čtou bohaté funkce. Aktivní výzkum se zaměřuje na nestacionární odměny, které se v průběhu času mění, na bandity s omezením bezpečnosti nebo spravedlnosti a na kombinování banditů s učením hluboké reprezentace. Očekávejte je začleněné do adaptivních klinických studií, dynamických cenových a LLM systémů, které si vybírají výzvy nebo nástroje online a zároveň kontrolují lítost.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Mnohoruký bandita je problém rozhodování, kdy si opakovaně vybíráte mezi možnostmi s neznámými výnosy a učíte se za pochodu, přičemž zkoumání nových možností vyvažujete využíváním té nejlepší, kterou jste našli. Umožňuje A/B testování, doporučení a výběr online reklam.
Epsilon-chtivý většinu času využívá aktuální nejlepší rameno a prozkoumává náhodné rameno s malou pravděpodobností epsilon.
Kontextuální bandité sledují vedlejší informace (vlastnosti) o každém kole a používají je k výběru nejlepší paže pro daný kontext.
The UCB bonus is larger for under-sampled arms and shrinks as their count grows.
Logarithmic regret is sublinear in the number of rounds, so average regret per round can decrease over time.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Spekulativní streamování a predikce více tokenů
Technický