Kvíz spojený s průvodcem · Těžko úroveň
Posílení učení z kvízu lidské zpětné vazby
Procvičte si preferenční údaje RLHF, proxy odměny a regulaci referencí, včetně toho, proč vhodné úsudky nezaručují faktickou přesnost.
Otázka 1 z 8
Jaký je hlavní účel RLHF pro jazykový model?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaký je hlavní účel RLHF pro jazykový model?
- Sladit své výstupy s lidskými preferencemi vstřícnosti a bezpečnosti
- Chcete-li zvýšit počet parametrů modelu
- Chcete-li komprimovat model pro rychlejší vyvozování
- Přeložit model do jiných jazyků
- Co se vlastně model odměn v RLHF naučí dělat?
- Vygenerujte konečné odpovědi pro uživatele
- Převeďte výzvy do měny odměny
- Přiřaďte skalární skóre odrážející, jak moc by lidé preferovali danou odpověď
- Rozhodněte o rychlosti učení modelu
- What does a KL-divergence penalty against a reference policy aim to regularize in an RLHF objective?
- Every factual error with a complete correctness guarantee
- How far the optimized policy departs from the reference
- The tokenizer vocabulary’s spelling
- The number of human annotators automatically
- Jak se obvykle shromažďují údaje o preferencích pro model odměn?
- Lidé píší zcela nové odpovědi od nuly
- Model hodnotí svou vlastní důvěru
- Náhodné štítky se přidělují automaticky
- Lidé porovnávají dvě modelové reakce na stejnou výzvu a vybírají tu lepší
- Jakou výhodu nabízí DPO (Direct Preference Optimization) oproti klasickému potrubí RLHF?
- Nevyžaduje vůbec žádná data
- Zaručuje, že model se nikdy nemůže mýlit
- Optimalizuje politiku přímo z párů preferencí, vynechává samostatný model odměn a smyčku PPO
- Odpadá nutnost předtrénování
- Odkud pochází velká část zpětné vazby v RLAIF a Constitutional AI?
- Z modelu umělé inteligence generující nebo kritizující odpovědi, snižující lidské označování
- Pouze od placených lidských anotátorů
- Z generátorů náhodných čísel
- Přímo z předtréninkového korpusu modelky
- An RLHF response receives a high learned reward but contains a false claim. What does this show?
- High reward proves the claim is true
- The response must have been generated without tokens
- The reference model’s vocabulary disappeared
- A preference-based reward is a proxy and can be mistaken
- Why should an RLHF team examine whose preference comparisons were collected?
- Annotator identity determines the GPU clock rate
- The judgments and task distribution shape what the model is rewarded for
- Every population has identical response preferences
- Preference data affect only file compression