Тест, свързан с ръководство · Среден Ниво

Тест за вземане на проби и прекласиране на Best-of-N

Разберете избора на най-добрия от N, ограниченията на резултатите, разходите за време за изводи и вероятностните допускания зад вземането на проби от повече кандидати.

Свързани ръководни пътекиНай-доброто от N семплиране и прекласиране
Въпрос 1 на 8

Каква е основната идея за вземане на проби най-доброто от N?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Каква е основната идея за вземане на проби най-доброто от N?
    • Генерирайте N кандидат изхода и изберете най-добрия с резултат
    • Обучете модела N пъти и осреднете теглата
    • Използвайте само първия изход, който моделът произвежда
    • Намалете речника до N токена
  2. When is best-of-N most likely to help?
    • When every output is equally good
    • When the model sometimes samples a correct candidate and a reliable verifier can identify it
    • When the task has no way to assess candidates
    • When sampling is disabled
  3. Какво до голяма степен определя дали най-доброто от N наистина подобрява резултатите?
    • Цветът на потребителския интерфейс
    • Само дължината на подканата
    • Качеството и надеждността на записващия или верификатор
    • Размерът на речника на модела
  4. What can happen when N becomes large and the reward model is an imperfect proxy?
    • The model’s tokenizer is removed
    • The model forgets its training weights
    • All candidates become identical
    • Selection can favor outputs that exploit scorer errors and reduce true quality
  5. Коя проста стратегия за прекласиране е известна още като самосъгласуваност?
    • Гласуване с мнозинство сред избраните отговори
    • Избор на най-дългия отговор
    • Избор на произволна извадка
    • Винаги вземайте изхода с най-ниска вероятност
  6. What mainly drives the generation cost of best-of-N?
    • Only the number of vocabulary entries
    • The total amount of text generated across the sampled candidates
    • The user interface color
    • The number of model training runs
  7. If each independent sample succeeds with probability p and a perfect verifier picks any success, what is the chance at least one of N samples succeeds?
    • p/N
    • N−p
    • 1−(1−p)^N
    • 1−p^N
  8. Which assumption is needed for the simple 1−(1−p)^N success formula?
    • Every response has a different length
    • The model is retrained after each sample
    • The reward model has no parameters
    • The candidate samples are independent and the verifier recognizes success perfectly