Învățare de consolidare din testul de feedback uman

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

1. Care este scopul principal al RLHF pentru un model de limbă?
   • Pentru a-și alinia rezultatele cu preferințele umane pentru utilitate și siguranță
   • Pentru a crește numărul de parametri ai modelului
   • Pentru a comprima modelul pentru o inferență mai rapidă
   • Pentru a traduce modelul în alte limbi
2. Ce învață de fapt să facă modelul de recompensă din RLHF?
   • Generați răspunsurile finale pentru utilizatori
   • Traduceți solicitările într-o monedă de recompensă
   • Atribuiți un scor scalar care să reflecte cât de mult ar prefera oamenii un anumit răspuns
   • Decideți rata de învățare a modelului
3. What does a KL-divergence penalty against a reference policy aim to regularize in an RLHF objective?
   • Every factual error with a complete correctness guarantee
   • How far the optimized policy departs from the reference
   • The tokenizer vocabulary’s spelling
   • The number of human annotators automatically
4. Cum sunt colectate de obicei datele despre preferințe pentru modelul de recompensă?
   • Oamenii scriu răspunsuri noi de la zero
   • Modelul își evaluează propria încredere
   • Etichetele aleatorii sunt atribuite automat
   • Oamenii compară două răspunsuri model la același prompt și îl aleg pe cel mai bun
5. Ce avantaj oferă DPO (Direct Preference Optimization) față de conducta clasică RLHF?
   • Nu necesită deloc date
   • Garantează că modelul nu poate greși niciodată
   • Optimizează politica direct din perechile de preferințe, omitând un model separat de recompensă și bucla PPO
   • Elimină necesitatea pregătirii preliminare
6. În RLAIF și Constitutional AI, de unde vine mare parte din feedback?
   • De la un model AI care generează sau critică răspunsuri, reducând etichetarea umană
   • Doar de la adnotatori umani plătiți
   • Din generatoarele de numere aleatorii
   • Din corpus de preformare al modelului direct
7. An RLHF response receives a high learned reward but contains a false claim. What does this show?
   • High reward proves the claim is true
   • The response must have been generated without tokens
   • The reference model’s vocabulary disappeared
   • A preference-based reward is a proxy and can be mistaken
8. Why should an RLHF team examine whose preference comparisons were collected?
   • Annotator identity determines the GPU clock rate
   • The judgments and task distribution shape what the model is rewarded for
   • Every population has identical response preferences
   • Preference data affect only file compression