Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Az N legjobb mintavételi és átsorolási kvíz
Understand best-of-N selection, scorer limitations, inference-time costs, and the probability assumptions behind sampling more candidates.
kérdés 1 -ból 8
Mi az N legjobb mintavétel alapötlete?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mi az N legjobb mintavétel alapötlete?
- Generáljon N számú jelölt kimenetet, és válassza ki a legjobbat egy pontozó segítségével
- Tanítsa meg a modellt N-szer, és átlagolja a súlyokat
- Csak a modell által létrehozott első kimenetet használja
- Csökkentse a szókincset N tokenre
- Mikor segít a legjobban az N-ből?
- When every output is equally good
- When the model sometimes samples a correct candidate and a reliable verifier can identify it
- When the task has no way to assess candidates
- When sampling is disabled
- Mi határozza meg nagymértékben, hogy az N legjobbja valóban javítja-e az eredményeket?
- A felhasználói felület színe
- Csak a prompt hossza
- A pontozó vagy ellenőrző minősége és robusztussága
- A modell szókincsének mérete
- Mi történhet, ha N nagy lesz, és a jutalommodell tökéletlen proxy?
- The model’s tokenizer is removed
- The model forgets its training weights
- All candidates become identical
- Selection can favor outputs that exploit scorer errors and reduce true quality
- Melyik egyszerű átsorolási stratégiát nevezik önkonzisztenciának?
- Többségi szavazás a mintában szereplő válaszok között
- A leghosszabb válasz kiválasztása
- Véletlenszerű minta kiválasztása
- Mindig a legkisebb valószínűségű kimenetet veszi
- What mainly drives the generation cost of best-of-N?
- Only the number of vocabulary entries
- The total amount of text generated across the sampled candidates
- The user interface color
- The number of model training runs
- If each independent sample succeeds with probability p and a perfect verifier picks any success, what is the chance at least one of N samples succeeds?
- p/N
- N−p
- 1−(1−p)^N
- 1−p^N
- Which assumption is needed for the simple 1−(1−p)^N success formula?
- Every response has a different length
- The model is retrained after each sample
- The reward model has no parameters
- The candidate samples are independent and the verifier recognizes success perfectly