Вікторина, пов’язана з посібником · Середній Рівень

Вибірка кращих із N і тест на переранжування

Зрозумійте вибір найкращого з N, обмеження оцінювачів, витрати часу на висновки та ймовірнісні припущення, що стоять за вибіркою більшої кількості кандидатів.

Пов'язані напрямні шляхиВибірка та переранжування Best Of N
Питання 1 з 8

Яка основна ідея вибірки найкращого з N?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Яка основна ідея вибірки найкращого з N?
    • Згенеруйте N вихідних результатів і виберіть найкращий за допомогою оцінювача
    • Тренуйте модель N разів і усередніть ваги
    • Використовуйте лише перший результат, який створює модель
    • Зменшіть словниковий запас до N лексем
  2. When is best-of-N most likely to help?
    • When every output is equally good
    • When the model sometimes samples a correct candidate and a reliable verifier can identify it
    • When the task has no way to assess candidates
    • When sampling is disabled
  3. Від чого значною мірою залежить, чи справді найкраще з N покращує результати?
    • Колір інтерфейсу користувача
    • Лише довжина підказки
    • Якість і надійність секретаря або верифікатора
    • Розмір словникового запасу моделі
  4. What can happen when N becomes large and the reward model is an imperfect proxy?
    • The model’s tokenizer is removed
    • The model forgets its training weights
    • All candidates become identical
    • Selection can favor outputs that exploit scorer errors and reduce true quality
  5. Яка проста стратегія переранжування також відома як самоузгодженість?
    • Більшість голосів серед вибіркових відповідей
    • Вибір найдовшої відповіді
    • Вибір випадкової вибірки
    • Завжди беріть результат із найменшою ймовірністю
  6. What mainly drives the generation cost of best-of-N?
    • Only the number of vocabulary entries
    • The total amount of text generated across the sampled candidates
    • The user interface color
    • The number of model training runs
  7. If each independent sample succeeds with probability p and a perfect verifier picks any success, what is the chance at least one of N samples succeeds?
    • p/N
    • N−p
    • 1−(1−p)^N
    • 1−p^N
  8. Which assumption is needed for the simple 1−(1−p)^N success formula?
    • Every response has a different length
    • The model is retrained after each sample
    • The reward model has no parameters
    • The candidate samples are independent and the verifier recognizes success perfectly