Kvíz spojený s průvodcem · Těžko úroveň

Posílení učení z kvízu lidské zpětné vazby

Procvičte si preferenční údaje RLHF, proxy odměny a regulaci referencí, včetně toho, proč vhodné úsudky nezaručují faktickou přesnost.

Otázka 1 z 8

Jaký je hlavní účel RLHF pro jazykový model?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaký je hlavní účel RLHF pro jazykový model?
    • Sladit své výstupy s lidskými preferencemi vstřícnosti a bezpečnosti
    • Chcete-li zvýšit počet parametrů modelu
    • Chcete-li komprimovat model pro rychlejší vyvozování
    • Přeložit model do jiných jazyků
  2. Co se vlastně model odměn v RLHF naučí dělat?
    • Vygenerujte konečné odpovědi pro uživatele
    • Převeďte výzvy do měny odměny
    • Přiřaďte skalární skóre odrážející, jak moc by lidé preferovali danou odpověď
    • Rozhodněte o rychlosti učení modelu
  3. What does a KL-divergence penalty against a reference policy aim to regularize in an RLHF objective?
    • Every factual error with a complete correctness guarantee
    • How far the optimized policy departs from the reference
    • The tokenizer vocabulary’s spelling
    • The number of human annotators automatically
  4. Jak se obvykle shromažďují údaje o preferencích pro model odměn?
    • Lidé píší zcela nové odpovědi od nuly
    • Model hodnotí svou vlastní důvěru
    • Náhodné štítky se přidělují automaticky
    • Lidé porovnávají dvě modelové reakce na stejnou výzvu a vybírají tu lepší
  5. Jakou výhodu nabízí DPO (Direct Preference Optimization) oproti klasickému potrubí RLHF?
    • Nevyžaduje vůbec žádná data
    • Zaručuje, že model se nikdy nemůže mýlit
    • Optimalizuje politiku přímo z párů preferencí, vynechává samostatný model odměn a smyčku PPO
    • Odpadá nutnost předtrénování
  6. Odkud pochází velká část zpětné vazby v RLAIF a Constitutional AI?
    • Z modelu umělé inteligence generující nebo kritizující odpovědi, snižující lidské označování
    • Pouze od placených lidských anotátorů
    • Z generátorů náhodných čísel
    • Přímo z předtréninkového korpusu modelky
  7. An RLHF response receives a high learned reward but contains a false claim. What does this show?
    • High reward proves the claim is true
    • The response must have been generated without tokens
    • The reference model’s vocabulary disappeared
    • A preference-based reward is a proxy and can be mistaken
  8. Why should an RLHF team examine whose preference comparisons were collected?
    • Annotator identity determines the GPU clock rate
    • The judgments and task distribution shape what the model is rewarded for
    • Every population has identical response preferences
    • Preference data affect only file compression