Kvíz spojený s průvodcem · Střední úroveň

Zpracujte kvíz modelů odměn

Otestujte postupové bodování modelů odměňování procesů, lidské a automatické štítky, přehodnocení řešení, hledání stromu a lokalizaci selhání.

Související vodicí cestyProcesní modely odměn
Otázka 1 z 8

Co primárně odlišuje model procesní odměny od modelu odměny za výsledek?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co primárně odlišuje model procesní odměny od modelu odměny za výsledek?
    • Hodnotí každý mezikrok uvažování, nejen konečnou odpověď
    • V době odvození běží rychleji
    • Nevyžaduje žádná tréninková data
    • Funguje pouze na obrazových vstupech
  2. Která známá datová sada lidských matematických štítků na úrovni kroku je spojena s výzkumem PRM?
    • ImageNet
    • PRM800K
    • SQUAD
    • WikiText
  3. Proč může být signál odměny zaměřený pouze na výsledek zavádějící?
    • Konečné odpovědi nejsou nikdy správné
    • Výsledné modely neumí číst text
    • Správná konečná odpověď může být výsledkem chybného uvažování nebo špatná odpověď většinou správného uvažování
    • Vždy to přepadá do gramatiky
  4. Běžný způsob, jak přeměnit skóre za krok na skóre jednoho řetězce, je:
    • Ke každému kroku přidejte náhodné číslo
    • Ignorujte všechny kromě prvního kroku
    • Použijte pouze počet tokenů
    • Vezměte minimální pravděpodobnost kroku napříč řetězcem
  5. Co používá přístup Math-Shepherd k automatickému označování kroků?
    • Zavedení Monte Carlo odhaduje, jak často krok vede ke správné odpovědi
    • Manuální odborná kontrola každého kroku
    • Překlad kroků do jiného jazyka
    • Počítání interpunkčních znamének
  6. Jaké riziko je zvláště důležité při výcviku modelů proti PRM?
    • Modelka zapomene číst
    • Hackování odměn, kdy kroky vypadají dobře pro PRM, aniž by byly skutečně správné
    • PRM nespotřebovává žádné výpočty
    • Kroky se stanou nemožnými
  7. How can a process reward model guide a tree search over reasoning?
    • Expand every branch equally without scoring
    • Choose branches by their final token length
    • Prioritize expanding partial solutions whose intermediate steps receive stronger scores
    • Replace all branches with one randomly selected answer
  8. What does the PRM800K dataset contain?
    • Only final answer labels for image captions
    • Audio recordings of spoken explanations
    • A corpus of code commits with no reasoning labels
    • Human labels for intermediate steps in mathematical reasoning solutions