Викторина, связанная с руководством · Средний Уровень
Викторина по моделированию вознаграждения
Тестируйте оценки модели вознаграждения, данные о предпочтениях, потерю парного рейтинга, взлом вознаграждений и использование лучшего из N в RLHF. Проверьте предположения и объем.
Вопрос 1 из 8
Каков основной результат модели вознаграждения для данной пары «быстрый ответ»?
Предварительный просмотр каждого вопроса8 вопросы
Ответы и пояснения появляются по мере прохождения теста.
- Каков основной результат модели вознаграждения для данной пары «быстрый ответ»?
- Единая скалярная оценка
- Полный текстовый ответ
- Распределение вероятностей по словарю
- Список предпочтительных токенов
- What feedback format did the InstructGPT paper collect to train its reward model?
- A guaranteed correctness label for every possible answer
- Human rankings of several model responses, converted into pairwise preferences
- A single sentiment score for each training prompt
- Only binary safety labels with no response comparisons
- Что оптимизирует стандартная модель вознаграждения?
- Абсолютное вознаграждение за каждый ответ
- Точность предсказания следующего токена
- Что выбранный ответ оценивается выше, чем отклоненный
- Длина ответов
- Что такое «взлом вознаграждений»?
- Кража модели вознаграждения конкурента
- Метод ускорения тренировок
- Шифрование сигнала вознаграждения
- Политика, использующая недостатки модели вознаграждения для получения высоких баллов без подлинного качества.
- Как модель вознаграждения архитектурно выведена из языковой модели?
- Заменив головку прогнозирования токена одной головкой скалярного вывода.
- Добавляя больше слоев внимания
- Удалив все слои трансформатора
- За счет удвоения словарного запаса
- How is a reward model used at inference time in best-of-N sampling?
- Параллельное обучение N моделей вознаграждения
- Создание нескольких ответов и использование модели вознаграждения для выбора ответа с наибольшим количеством баллов.
- Выбор N наиболее распространенных токенов
- Усреднение N контрольных точек модели
- Why might an RLHF study use an ensemble of reward models during training?
- To guarantee that reward hacking is impossible
- To replace the human preference data with exact correctness labels
- To estimate disagreement or uncertainty across learned preference scorers
- To ensure every candidate receives the same score
- Why should reward-model evaluations include held-out comparisons?
- To ensure training comparisons are never used
- To make every output identical
- To guarantee the reward is unbiased
- To test whether preferences generalize beyond the training comparisons