Викторина, связанная с руководством · Жесткий Уровень

Сбор данных о человеческих предпочтениях для викторины RLHF

Понимать попарный сбор предпочтений, инструкции оценщика, модели вознаграждения, PPO, DPO, предвзятость позиции и пределы меток предпочтений.

Вопрос 1 из 8

Какую метку записывает этап сбора предпочтений InstructGPT?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Какую метку записывает этап сбора предпочтений InstructGPT?
    • Какой из двух ответов кандидата предпочитает оценщик в соответствии с инструкциями по заданию?
    • Универсальный показатель качества для всех возможных ответов.
    • Только вероятности следующего токена модели
    • Транскрипция идеального ответа оценщика
  2. Что обычно происходит, когда проверки согласия обнаруживают постоянно низкую степень согласия между оценщиками по определенным вопросам?
    • Оценщиков немедленно увольняют
    • Рекомендации по маркировке обычно пересматриваются, поскольку разногласия часто указывают на неясность инструкций.
    • Подсказки удаляются из набора данных без каких-либо дальнейших действий.
    • Модель вознаграждения переобучается без каких-либо человеческих данных.
  3. Чему обучена модель вознаграждения в традиционном конвейере RLHF?
    • Сгенерируйте оригинальные ответы кандидата
    • Translate responses into other languages
    • Assign a scalar score to any response, trained so the human-chosen response in each pair scores higher than the rejected one
    • Replace the need for a language model entirely
  4. How does direct preference optimization (DPO) differ from the traditional reward-model-plus-PPO approach?
    • DPO requires no preference data at all
    • DPO only works for image models, not language models
    • DPO eliminates the need for human raters entirely
    • DPO fine-tunes the language model directly on preference pairs, skipping the separate reward model training step
  5. Why do rater interfaces typically randomize whether a response appears as 'A' or 'B'?
    • To prevent raters from developing a positional bias toward always picking the first option shown
    • To make the interface look more colorful
    • Because response A is always the correct answer
    • To speed up model inference time
  6. In the classic RLHF sequence described in the guide, what does PPO update?
    • Только рубрика предпочтений
    • Модель политики, использующая сигнал вознаграждения при ограничении отклонения от эталона
    • Интерфейс необработанных аннотаций
    • Демографические ярлыки оценщиков
  7. Почему ошибочно считать, что данные о предпочтениях RLHF отражают одно универсальное понятие хорошего ответа?
    • Поскольку данные о предпочтениях генерируются полностью моделью без участия человека.
    • Потому что RLHF никогда не использовался ни одной реальной компанией.
    • Потому что данные на самом деле отражают конкретные рекомендации и выбранный пул оценщиков, что может изменить поведение модели в разных направлениях.
    • Потому что модели вознаграждения не способны учиться на человеческих данных.
  8. Почему сравнение ответов двух моделей может стать труднее для оценщиков-людей по мере совершенствования базовых моделей?
    • Потому что лучшие модели каждый раз дают одинаковые ответы.
    • Потому что обучение оценщиков становится ненужным, когда модели улучшаются.
    • Потому что улучшенные модели больше не требуют никаких данных о предпочтениях.
    • Поскольку оба ответа кандидата уже могут быть беглыми и в значительной степени правильными, что делает значимые различия более тонкими для обнаружения.