Викторина, связанная с руководством · Жесткий Уровень
Сбор данных о человеческих предпочтениях для викторины RLHF
Понимать попарный сбор предпочтений, инструкции оценщика, модели вознаграждения, PPO, DPO, предвзятость позиции и пределы меток предпочтений.
Вопрос 1 из 8
Какую метку записывает этап сбора предпочтений InstructGPT?
Предварительный просмотр каждого вопроса8 вопросы
Ответы и пояснения появляются по мере прохождения теста.
- Какую метку записывает этап сбора предпочтений InstructGPT?
- Какой из двух ответов кандидата предпочитает оценщик в соответствии с инструкциями по заданию?
- Универсальный показатель качества для всех возможных ответов.
- Только вероятности следующего токена модели
- Транскрипция идеального ответа оценщика
- Что обычно происходит, когда проверки согласия обнаруживают постоянно низкую степень согласия между оценщиками по определенным вопросам?
- Оценщиков немедленно увольняют
- Рекомендации по маркировке обычно пересматриваются, поскольку разногласия часто указывают на неясность инструкций.
- Подсказки удаляются из набора данных без каких-либо дальнейших действий.
- Модель вознаграждения переобучается без каких-либо человеческих данных.
- Чему обучена модель вознаграждения в традиционном конвейере RLHF?
- Сгенерируйте оригинальные ответы кандидата
- Translate responses into other languages
- Assign a scalar score to any response, trained so the human-chosen response in each pair scores higher than the rejected one
- Replace the need for a language model entirely
- How does direct preference optimization (DPO) differ from the traditional reward-model-plus-PPO approach?
- DPO requires no preference data at all
- DPO only works for image models, not language models
- DPO eliminates the need for human raters entirely
- DPO fine-tunes the language model directly on preference pairs, skipping the separate reward model training step
- Why do rater interfaces typically randomize whether a response appears as 'A' or 'B'?
- To prevent raters from developing a positional bias toward always picking the first option shown
- To make the interface look more colorful
- Because response A is always the correct answer
- To speed up model inference time
- In the classic RLHF sequence described in the guide, what does PPO update?
- Только рубрика предпочтений
- Модель политики, использующая сигнал вознаграждения при ограничении отклонения от эталона
- Интерфейс необработанных аннотаций
- Демографические ярлыки оценщиков
- Почему ошибочно считать, что данные о предпочтениях RLHF отражают одно универсальное понятие хорошего ответа?
- Поскольку данные о предпочтениях генерируются полностью моделью без участия человека.
- Потому что RLHF никогда не использовался ни одной реальной компанией.
- Потому что данные на самом деле отражают конкретные рекомендации и выбранный пул оценщиков, что может изменить поведение модели в разных направлениях.
- Потому что модели вознаграждения не способны учиться на человеческих данных.
- Почему сравнение ответов двух моделей может стать труднее для оценщиков-людей по мере совершенствования базовых моделей?
- Потому что лучшие модели каждый раз дают одинаковые ответы.
- Потому что обучение оценщиков становится ненужным, когда модели улучшаются.
- Потому что улучшенные модели больше не требуют никаких данных о предпочтениях.
- Поскольку оба ответа кандидата уже могут быть беглыми и в значительной степени правильными, что делает значимые различия более тонкими для обнаружения.