DalšíDalší průvodce
Skóre CLIP a metriky lidských preferencí
Technický
Jazyk AI GUIDE
Data o lidských preferencích pro zpětnovazební učení z lidské zpětné vazby zaznamenávají, které odpovědi hodnotitelé upřednostňují za daných kritérií.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Párová porovnání jsou běžným formátem, ale výsledný signál odráží prompty, pokyny, hodnotitele a metodu agregace namísto jediné univerzální lidské preference.
Collecting preference data for reinforcement learning from human feedback typically starts by generating multiple candidate responses to the same prompt from a language model, often by sampling with different random seeds or slight variations in decoding settings. Human raters are then shown two (or sometimes more) of these candidate responses side by side and asked to choose which one better satisfies criteria such as helpfulness, honesty, and harmlessness, rather than being asked to write an ideal answer themselves, which is a slower and more expensive task than making a comparative judgment. Pairwise comparisons are one common format: raters select a preferred response under explicit criteria. This avoids requiring every rater to use a numeric scale in the same way, but it does not eliminate ambiguity or bias. The chosen response depends on the prompt, comparison set, instructions, rater pool, and available abstention or tie options. Rater training is essential: without clear, detailed guidelines about what counts as helpful versus subtly unhelpful, or safe versus overly evasive, different raters will apply inconsistent standards, and inconsistent preference labels teach the resulting reward model a blurry, unreliable notion of what people actually want. Agreement checks, where multiple raters judge the same pair independently, are used to catch prompts where the 'better' answer is genuinely ambiguous or where raters are misapplying the guidelines, and persistent low agreement usually triggers a guideline revision rather than simply replacing raters. A common misconception is that RLHF preference data reflects one single, universal notion of a good response; in practice, it reflects the specific guidelines and rater pool a company chose, and different labeling instructions or rater demographics can shift a model's resulting behavior in meaningfully different directions, which is why documenting exactly what raters were asked to prioritize matters as much as collecting the comparisons themselves.
Vývojář chatbotů ukáže hodnotitelům dvě různé odpovědi na stejnou uživatelskou otázku a zeptá se, která z nich je užitečnější a přesnější, přičemž tuto volbu zaznamená jako preferenční pár pro trénink.
Tým pro bezpečnost AI nechá hodnotitele porovnat dvě odpovědi na citlivý prompt a vybrat tu, která lépe odmítne nebezpečný požadavek, aniž by byla moralizující, čímž vytvoří datovou sadu utvářející chování při odmítnutí.
Tým vývojářského asistenta ukáže dvě kandidátská dokončení kódu pro stejný prompt a požádá softwarové inženýry, aby vybrali to, které je správnější a idiomatičtější, namísto toho, které jen vypadá plynuleji.
Tým pro sumarizaci žádá hodnotitele, aby porovnali dvě shrnutí téhož článku z hlediska přesnosti a stručnosti, a získané volby využívá k trénování modelu odměn, který ohodnocuje budoucí shrnutí.
Sběr preferencí se bude dál vyvíjet souběžně s modelováním odměn, DPO a zpětnou vazbou asistovanou modelem. Užitečná datová sada by měla zachovávat, jak byly volby získány a kdo nebo co je poskytlo, protože pokyny a skupiny hodnotitelů utvářejí signál. U vysoce dopadových nebo sporných oblastí uvádějte neshody a vyhodnocujte je oproti dalším důkazům, namísto předpokladu, že Váš preferovaný většinový názor zachycuje hodnoty každého. Efektivnější porovnání stále vyžadují pečlivý vzorek a přezkum. Pravidelně přehodnocujte rubriky a preference podle toho, jak se mění produkt, populace uživatelů nebo bezpečnostní očekávání.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Data o lidských preferencích pro zpětnovazební učení z lidské zpětné vazby zaznamenávají, které odpovědi hodnotitelé upřednostňují za daných kritérií. Párová porovnání jsou běžným formátem, ale výsledný signál odráží prompty, pokyny, hodnotitele a metodu agregace namísto jediné univerzální lidské preference.
Studie InstructGPT shromažďovala lidská porovnání kandidátských výstupů; preference byly podmíněny promptem a pokyny pro hodnotitele.
Trvale nízká shoda se obecně považuje za známku toho, že samotné pokyny potřebují upřesnění, a ne jen za problém s výkonem hodnotitele.
Model odměn se učí hodnotit odpovědi způsobem, který je konzistentní s páry lidských preferencí, obvykle za použití párové ztráty, jako je cíl ve stylu Bradleyho-Terryho.
DPO využívá funkci ztráty odvozenou tak, aby měla stejné optimum jako tradiční přístup, ale aplikuje ji přímo na jazykový model, aniž by nejdříve trénoval samostatný model odměn.
Náhodné umístění chrání před tím, že by hodnotitelé nevědomě upřednostňovali pozici, která je zobrazena jako první, což by zkreslilo shromážděná data o preferencích.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Skóre CLIP a metriky lidských preferencí
Technický