DalšíDalší průvodce
Učení s posilováním pro obchodování
Technický
Technický PRŮVODCE
Reinforcement learning from human feedback uses human judgments to construct a training signal for a model’s behavior.
Poslechněte si tento návodAI-vyprávěný · ~2 min
It can improve agreement with collected preferences, but does not guarantee truthful, safe, or universally preferred answers.
A pretrained language model predicts plausible text, but plausible is not the same as helpful, honest, or safe. A common RLHF pipeline addresses these goals in stages. First, supervised fine-tuning teaches the model to follow instructions using human-written example answers. Next, humans compare pairs of model responses to the same prompt and pick the better one; these comparisons train a separate reward model that scores any response. Finally, the language model is optimized with reinforcement learning to produce responses the reward model rates highly. A penalty regularizes deviation from a reference policy; it does not eliminate exploitation of reward-model errors. RLHF was central to making ChatGPT-style assistants usable.
Vyladění chatovacího asistenta tak, aby odmítal škodlivé požadavky a poskytoval užitečné, dobře strukturované odpovědi, nikoli jen věrohodný text.
Seřazení dvojic souhrnů podle lidských preferencí za účelem trénování modelu, který píše souhrny, které lidé skutečně považují za užitečné.
Snížení toxických nebo zkreslených výstupů odměňováním odpovědí, které hodnotitelé hodnotí jako uctivé a bezpečné.
Použití DPO na datové sadě preferovaných vs. odmítnutých odpovědí k přizpůsobení modelu s otevřeným zdrojovým kódem bez spuštění úplné smyčky PPO.
RLHF se zefektivňuje a částečně automatizuje. DPO a související metody přímé preference nahrazují pro mnoho týmů těžké potrubí PPO a RLAIF využívá zpětnou vazbu generovanou AI (jako v ústavní AI) ke snížení nákladů na označování. Výzkum se zabývá hackováním odměn, zaujatostí anotátorů a obtížností posuzování dlouhých nebo odborných odpovědí pomocí technik, jako je dohled nad procesem a debata. Očekávejte sladění, které spojí zpětnou vazbu od lidí a umělé inteligence, bohatší signály odměn nad rámec jediného zvednutí palce a rostoucí kontrolu toho, kdo poskytuje preference a jaké hodnoty kóduje.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Reinforcement learning from human feedback uses human judgments to construct a training signal for a model’s behavior. It can improve agreement with collected preferences, but does not guarantee truthful, safe, or universally preferred answers.
RLHF řídí model směrem k reakcím, které lidé preferují, takže je užitečnější, čestnější a bezpečnější než pouze věrohodný.
Model odměny je trénován na porovnávání lidských preferencí, aby se dosáhlo skóre odpovědí, což poskytuje signál, podle kterého se politika optimalizuje.
The penalty discourages large policy shifts. It is not proof that the reward model cannot be exploited or that generated answers are correct.
Anotátoři vyberou preferovanou odpověď v párovém srovnání, což trénuje model odměny prostřednictvím ztráty ve stylu Bradley-Terryho.
DPO odvozuje cíl přímo z preferencí, přičemž se vyhýbá samostatnému modelu odměňování a nešikovnému kroku učení.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Učení s posilováním pro obchodování
Technický