Вікторина, пов’язана з посібником · Середній Рівень
Вікторина з моделювання винагород
Перевірте оцінки моделі винагороди, дані про переваги, попарну втрату рейтингу, хакерство винагороди та використання найкращого з N у RLHF. Перевірте припущення та обсяг.
Питання 1 з 8
Що є основним виходом моделі винагороди для даної пари швидка відповідь?
Перегляньте кожне запитання8 запитання
Відповіді та пояснення з’являються під час виконання тесту.
- Що є основним виходом моделі винагороди для даної пари швидка відповідь?
- Єдина скалярна оцінка
- Повний текст відповіді
- Розподіл ймовірностей по словниковому запасу
- Список бажаних токенів
- What feedback format did the InstructGPT paper collect to train its reward model?
- A guaranteed correctness label for every possible answer
- Human rankings of several model responses, converted into pairwise preferences
- A single sentiment score for each training prompt
- Only binary safety labels with no response comparisons
- Що оптимізує збиток стандартної моделі винагороди?
- Абсолютна винагорода за кожну відповідь
- Точність передбачення наступного токена
- Що обрана відповідь має вищу оцінку, ніж відхилена
- Довжина відповідей
- Що таке «злом винагород»?
- Викрадення моделі винагороди конкурента
- Спосіб прискорення навчання
- Шифрування сигналу винагороди
- Політика використовує недоліки в моделі винагороди для отримання високих балів без справжньої якості
- Як модель винагороди архітектурно походить від мовної моделі?
- Шляхом заміни голівки передбачення токенів на одну голівку скалярного виведення
- Додаючи більше шарів уваги
- Знявши всі шари трансформатора
- За рахунок подвоєння словникового запасу
- Як модель винагороди використовується під час висновку у вибірці найкращого з N?
- Навчання N моделей винагороди паралельно
- Створення кількох відповідей і використання моделі винагороди, щоб вибрати одну з найвищими балами
- Вибір N найпоширеніших лексем
- Усереднення N контрольних точок моделі
- Why might an RLHF study use an ensemble of reward models during training?
- To guarantee that reward hacking is impossible
- To replace the human preference data with exact correctness labels
- To estimate disagreement or uncertainty across learned preference scorers
- To ensure every candidate receives the same score
- Why should reward-model evaluations include held-out comparisons?
- To ensure training comparisons are never used
- To make every output identical
- To guarantee the reward is unbiased
- To test whether preferences generalize beyond the training comparisons