Útmutatóhoz kapcsolódó kvíz · Kemény Szint

Megerősítés Tanulás emberi visszajelzésből kvíz

Practice RLHF preference data, reward proxies, and reference regularization, including why fitting judgments does not guarantee factual accuracy.

kérdés 1 -ból 8

Mi az RLHF fő célja egy nyelvi modell szempontjából?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mi az RLHF fő célja egy nyelvi modell szempontjából?
    • Összehangolni az eredményeket az emberi segítőkészség és biztonság iránti preferenciákkal
    • A modell paraméterszámának növelése
    • A modell tömörítése a gyorsabb következtetés érdekében
    • A modell lefordítása más nyelvekre
  2. Mit tanul meg valójában az RLHF jutalmazási modellje?
    • A végső válaszok generálása a felhasználók számára
    • Fordítsa le az értesítéseket jutalom pénznemére
    • Adjon hozzá egy skaláris pontszámot, amely azt tükrözi, hogy az emberek mennyivel részesítenének előnyben egy adott választ
    • Határozza meg a modell tanulási sebességét
  3. What does a KL-divergence penalty against a reference policy aim to regularize in an RLHF objective?
    • Every factual error with a complete correctness guarantee
    • How far the optimized policy departs from the reference
    • The tokenizer vocabulary’s spelling
    • The number of human annotators automatically
  4. Általában hogyan gyűjtik a preferenciaadatokat a jutalommodellhez?
    • Az emberek teljesen új válaszokat írnak a semmiből
    • A modell saját magabiztosságát értékeli
    • A véletlenszerű címkék hozzárendelése automatikusan történik
    • Az emberek összehasonlítanak két modellválaszt ugyanarra a felszólításra, és kiválasztják a jobbat
  5. Milyen előnyöket kínál a DPO (Direct Preference Optimization) a klasszikus RLHF-folyamattal szemben?
    • Egyáltalán nem igényel adatot
    • Ez garantálja, hogy a modell soha nem tévedhet
    • Közvetlenül preferenciapárokból optimalizálja a házirendet, kihagyva egy külön jutalmazási modellt és a PPO hurkot
    • Kiküszöböli az előképzés szükségességét
  6. Honnan származik a legtöbb visszajelzés az RLAIF és az alkotmányos mesterséges intelligencia területén?
    • Egy AI-modellből, amely válaszokat generál vagy bírál, csökkentve az emberi címkézést
    • Csak fizetett emberi kommentátoroktól
    • Véletlenszám-generátorokból
    • Közvetlenül a modell előképzési korpuszából
  7. An RLHF response receives a high learned reward but contains a false claim. What does this show?
    • High reward proves the claim is true
    • The response must have been generated without tokens
    • The reference model’s vocabulary disappeared
    • A preference-based reward is a proxy and can be mistaken
  8. Why should an RLHF team examine whose preference comparisons were collected?
    • Annotator identity determines the GPU clock rate
    • The judgments and task distribution shape what the model is rewarded for
    • Every population has identical response preferences
    • Preference data affect only file compression