DalšíDalší průvodce
Zkreslení reprezentace a vzorkování v datových sadách
Technický
Technický PRŮVODCE
Expoziční zkreslení je mezera, která se objeví, když model trénovaný pouze na dokonalých předponách musí, na závěr, podmínit své vlastní nedokonalé výstupy.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Scheduled sampling is a curriculum that gradually closes that gap.
Modely trénované pomocí učitelů vždy vidí pouze tokeny základní pravdy jako kontext, ale v době generování zpětně reagují na své vlastní předpovědi. Když časná chyba dostane model do stavu, s nímž se během trénování nikdy nesetkal, chyby mohou sněžit, což je režim selhání nazývaný zkreslení expozice. Plánované vzorkování, které Bengio a jeho kolegové zavedli v roce 2015, řeší tento problém tak, že si hodí mincí v každém kroku dekódování během školení: s určitou pravděpodobností dodává skutečný token (vynucování učitelem) a jinak dodává vlastní vzorkovanou předpověď modelu. Pravděpodobnost použití základní pravdy začíná blízko jedné a klesá během tréninku pomocí plánu (lineárního, exponenciálního nebo inverzně-sigmoidního), takže model je postupně vystaven svým vlastním výstupům a učí se zotavovat ze svých chyb.
Trénink modelu titulků obrázků s plánovaným vzorkováním, aby se naučil elegantně pokračovat po nedokonalém predikovaném slově
Snížení pravděpodobnosti vynucování učitele pomocí inverzně esovitého rozvrhu v systému neurálního strojového překladu
Diagnostikování chatbota, který se dostává do nesouvislých smyček jako symptom zkreslení expozice z čistého učitelského vnucování
Porovnání skóre BLEU u sumátoru trénovaného s plným vynucením učitele oproti cvičenému s plánovaným vzorkováním
U velkých modelů jazyka Transformer se diskutuje o praktickém dopadu zkreslení expozice, protože obrovská data a měřítko je tlumí a metody jako RLHF přímo přetvářejí chování při generování. Plánované vzorkování a jeho potomci však zůstávají relevantní pro menší modely, strukturované generování a úlohy s přísnými požadavky na přesnost. Budoucí práce spojuje expozici kurikula, cíle sekvenčního stylu posilování a školení s minimálním rizikem, aby se sladilo, jak jsou modely trénovány s tím, jak se skutečně dekódují.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Expoziční zkreslení je mezera, která se objeví, když model trénovaný pouze na dokonalých předponách musí, na závěr, podmínit své vlastní nedokonalé výstupy. Plánované vzorkování je kurikulum, které tuto mezeru postupně uzavírá.
Plánované vzorkování stochasticky míchá základní pravdu a modelem generované tokeny jako vstupy dekodéru, řízené klesající pravděpodobností.
Rozvrh začíná téměř s plným vynucením učitele a upadá, takže model je stále více vystaven svým vlastním předpovědím, jak se zlepšuje.
Plánované vzorkování navrhl Samy Bengio a kolegové v roce 2015 pro predikci sekvence s rekurentními sítěmi.
Původní práce navrhovala lineární, exponenciální a inverzně-sigmoidní plány rozpadu pro snížení pravděpodobnosti vzorkování základní pravdy.
Scheduled sampling sometimes feeds the model’s own sampled prediction instead of the gold previous token.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Zkreslení reprezentace a vzorkování v datových sadách
Technický