DalšíDalší průvodce
Modely spekulativního dekódování
Jazyk AI
Jazyk AI GUIDE
Modely odměn za procesy (PRM) hodnotí každý jednotlivý krok uvažování AI spíše než jen konečnou odpověď.
Poslechněte si tento návodAI-vyprávěný · ~2 min
To je důležité, protože to zachytí chybnou logiku v průběhu procesu, což činí modely spolehlivějšími v matematice, programování a vícestupňovém uvažování.
Většina modelů odměn jsou modely „výsledků“: dívají se na hotovou odpověď a posuzují, zda je správná nebo špatná. Procesní model odměňování místo toho hodnotí každý krok v řetězci uvažování a přiřazuje skóre kvality nebo správnosti každému řádku řešení. Slavným příkladem je práce OpenAI z roku 2023 „Pojďme ověřovat krok za krokem“, kde PRM vyškolený na datové sadě PRM800K (kolem 800 000 štítků na úrovni lidského kroku na matematických řešeních) podstatně překonal dohled pouze na výsledek v benchmarku MATH. Výhodou je, že konečná odpověď může být správná díky štěstí, když je uvažování porušeno, nebo nesprávné navzdory většinou správným krokům. Odměňováním správných mezikroků poskytují PRM hustší a cílenější zpětnou vazbu, která zlepšuje jak ověřování (výběr toho nejlepšího z mnoha vzorových řešení), tak školení prostřednictvím posilovacího učení.
Změna pořadí desítek vzorových řešení těžkého soutěžního problému v MATCH podle bodového skóre a poté vrácení řetězce s nejvyšším skóre.
Vedení stromového vyhledávání v uvažovacím modelu, rozšiřující pouze dílčí řešení, jejichž mezikroky PRM hodnotí vysoko.
Automatické označování školicích dat pomocí zavedení Monte Carlo ve stylu Math-Shepherd, takže PRM lze trénovat bez vyčerpávajících lidských poznámek.
Ověření generování kódu krok za krokem, označení konkrétního řádku, kde se logika funkce odchyluje od specifikace.
PRM jsou ústředním bodem éry modelu uvažování. Očekávejte automatickější označování kroků, které sníží náklady na lidské poznámky, generativní PRM, které kritizují kroky v přirozeném jazyce, místo aby vydávaly holé skóre, a rozšíření za hranice matematiky do kódu, použití agentních nástrojů a vědeckého uvažování. Přirozeně se také spárují s vyhledáváním ve stromech a počítáním v testovacím čase, kde ověřovatel navádí, které větve se mají rozšířit. Klíčovou otevřenou výzvou je hacking odměn: modely se učí vytvářet kroky, které vypadají dobře pro PRM, aniž by byly skutečně správné.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Modely odměn za procesy (PRM) hodnotí každý jednotlivý krok uvažování AI spíše než jen konečnou odpověď. To je důležité, protože zachycuje chybnou logiku uprostřed proudu, díky čemuž jsou modely spolehlivější v matematice, kódování a vícekrokovém uvažování.
PRM přiděluje skóre každému kroku v uvažovacím řetězci, zatímco výsledný model posuzuje pouze konečný výsledek.
PRM800K, vydaný s OpenAI 'Let's Verify Step by Step' od OpenAI, obsahuje zhruba 800 000 popisků na úrovni matematických řešení.
Bodování výsledku postrádá případy, kdy je odpověď náhodně správná nebo špatná i přes dobrou průběžnou práci, kterou bodování na úrovni zachytí.
Math-Shepherd odhaduje hodnotu kroku vzorkováním mnoha dokončení od tohoto bodu a měřením, jak často dosáhnou správné odpovědi.
Modely se mohou naučit hrát na ověřovatele a produkovat věrohodně vypadající kroky, které dobře skórují, ale ve skutečnosti nejsou rozumným uvažováním.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Modely spekulativního dekódování
Jazyk AI