Kvíz spojený s průvodcem · Střední úroveň
Zpracujte kvíz modelů odměn
Otestujte postupové bodování modelů odměňování procesů, lidské a automatické štítky, přehodnocení řešení, hledání stromu a lokalizaci selhání.
Otázka 1 z 8
Co primárně odlišuje model procesní odměny od modelu odměny za výsledek?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co primárně odlišuje model procesní odměny od modelu odměny za výsledek?
- Hodnotí každý mezikrok uvažování, nejen konečnou odpověď
- V době odvození běží rychleji
- Nevyžaduje žádná tréninková data
- Funguje pouze na obrazových vstupech
- Která známá datová sada lidských matematických štítků na úrovni kroku je spojena s výzkumem PRM?
- ImageNet
- PRM800K
- SQUAD
- WikiText
- Proč může být signál odměny zaměřený pouze na výsledek zavádějící?
- Konečné odpovědi nejsou nikdy správné
- Výsledné modely neumí číst text
- Správná konečná odpověď může být výsledkem chybného uvažování nebo špatná odpověď většinou správného uvažování
- Vždy to přepadá do gramatiky
- Běžný způsob, jak přeměnit skóre za krok na skóre jednoho řetězce, je:
- Ke každému kroku přidejte náhodné číslo
- Ignorujte všechny kromě prvního kroku
- Použijte pouze počet tokenů
- Vezměte minimální pravděpodobnost kroku napříč řetězcem
- Co používá přístup Math-Shepherd k automatickému označování kroků?
- Zavedení Monte Carlo odhaduje, jak často krok vede ke správné odpovědi
- Manuální odborná kontrola každého kroku
- Překlad kroků do jiného jazyka
- Počítání interpunkčních znamének
- Jaké riziko je zvláště důležité při výcviku modelů proti PRM?
- Modelka zapomene číst
- Hackování odměn, kdy kroky vypadají dobře pro PRM, aniž by byly skutečně správné
- PRM nespotřebovává žádné výpočty
- Kroky se stanou nemožnými
- How can a process reward model guide a tree search over reasoning?
- Expand every branch equally without scoring
- Choose branches by their final token length
- Prioritize expanding partial solutions whose intermediate steps receive stronger scores
- Replace all branches with one randomly selected answer
- What does the PRM800K dataset contain?
- Only final answer labels for image captions
- Audio recordings of spoken explanations
- A corpus of code commits with no reasoning labels
- Human labels for intermediate steps in mathematical reasoning solutions