VolgendeVolgende gids
Speculatieve streaming en voorspelling van meerdere tokens
Technisch
Technische GIDS
Een meerarmige bandiet is een beslissingsprobleem waarbij je herhaaldelijk kiest tussen opties met onbekende uitbetalingen en gaandeweg leert, waarbij je de balans zoekt tussen het verkennen van nieuwe opties en het exploiteren van de beste die je hebt gevonden.
Luister naar deze gidsAI-verteld · ~2 min
It powers A/B testing, recommendations, and online ad selection.
De naam komt van een gokker die tegenover verschillende gokautomaten (eenarmige bandieten) staat, elk met een onbekend winstpercentage, en die de beloning over vele trekkingen wil maximaliseren. De centrale spanning is de afweging tussen verkennen en exploiteren: blijf trekken aan de arm die er het beste uitziet, of proef onzekere armen om meer te leren. Prestaties worden gemeten aan de hand van spijt, de cumulatieve kloof tussen uw beloningen en het altijd kiezen van de beste arm; goede algoritmen bereiken spijt die slechts logaritmisch groeit in het aantal rondes. Klassieke strategieën zijn onder meer epsilon-greedy (uitbuiten, maar willekeurig verkennen met kleine waarschijnlijkheid), Upper Confidence Bound (kies de arm met de hoogste optimistische schatting) en Thompson-sampling (steekproef uit de latere overtuigingen van elke arm en speel als winnaar). Contextuele bandieten breiden dit uit door kenmerken van de situatie te kiezen.
Een nieuwssite gebruikt bandieten om te beslissen welke variant van de kop moet worden weergegeven, waardoor het verkeer snel wordt verplaatst naar de versie die de meeste klikken genereert.
Een online advertentieplatform verdeelt vertoningen over advertentiemateriaal met Thompson-steekproeven om de klikfrequentie te maximaliseren terwijl nieuwe advertenties nog steeds worden getest.
Een adaptieve klinische proef wijst meer patiënten toe aan behandelingen die betere resultaten opleveren, waardoor de blootstelling aan inferieure armen wordt verminderd.
Een streamingdienst stemt aanbevelingsminiaturen per gebruiker af met contextuele bandieten die kenmerken van de kijkgeschiedenis lezen.
Bandieten verspreiden zich naar versterkend leren, waar ze de eenvoudigste bouwsteen vormen, en naar grootschalige personalisatie met contextuele en neurale bandieten die rijke kenmerken lezen. Actief onderzoek richt zich op niet-stationaire beloningen die in de loop van de tijd variëren, op bandieten met beperkingen op het gebied van veiligheid of eerlijkheid, en op het combineren van bandieten met diepgaand leren van representaties. Verwacht ze ingebed in adaptieve klinische onderzoeken, dynamische prijzen en LLM-systemen die online aanwijzingen of hulpmiddelen kiezen en tegelijkertijd spijt onder controle houden.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Een meerarmige bandiet is een beslissingsprobleem waarbij je herhaaldelijk kiest tussen opties met onbekende uitbetalingen en gaandeweg leert, waarbij je de balans zoekt tussen het verkennen van nieuwe opties en het exploiteren van de beste die je hebt gevonden. Het maakt A/B-testen, aanbevelingen en online advertentieselectie mogelijk.
Epsilon-greedy exploiteert meestal de huidige beste arm en onderzoekt een willekeurige arm met een kleine kans op epsilon.
Contextuele bandieten observeren neveninformatie (kenmerken) over elke ronde en gebruiken deze om de beste arm voor die context te kiezen.
The UCB bonus is larger for under-sampled arms and shrinks as their count grows.
Logarithmic regret is sublinear in the number of rounds, so average regret per round can decrease over time.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Speculatieve streaming en voorspelling van meerdere tokens
Technisch