Викторина «Укрепление обучения на основе обратной связи с людьми»

Ответы и пояснения появляются по мере прохождения теста.

1. Какова основная цель RLHF для языковой модели?
   • Согласовать свои результаты с человеческими предпочтениями в отношении полезности и безопасности.
   • Чтобы увеличить количество параметров модели
   • Сжать модель для более быстрого вывода
   • Перевести модель на другие языки
2. Чему на самом деле учится модель вознаграждения в RLHF?
   • Сгенерируйте окончательные ответы пользователям
   • Переведите подсказки в валюту вознаграждения
   • Присвойте скалярную оценку, отражающую, насколько люди предпочли бы данный ответ.
   • Определите скорость обучения модели
3. What does a KL-divergence penalty against a reference policy aim to regularize in an RLHF objective?
   • Every factual error with a complete correctness guarantee
   • How far the optimized policy departs from the reference
   • The tokenizer vocabulary’s spelling
   • The number of human annotators automatically
4. Как обычно собираются данные о предпочтениях для модели вознаграждения?
   • Люди пишут совершенно новые ответы с нуля
   • Модель оценивает собственную уверенность
   • Случайные метки назначаются автоматически
   • Люди сравнивают ответы двух моделей на одну и ту же подсказку и выбирают лучший.
5. Какое преимущество предлагает DPO (прямая оптимизация предпочтений) по сравнению с классическим конвейером RLHF?
   • вообще не требует данных
   • Это гарантирует, что модель никогда не сможет ошибаться.
   • Он оптимизирует политику непосредственно на основе пар предпочтений, пропуская отдельную модель вознаграждения и цикл PPO.
   • Это исключает необходимость предварительной подготовки
6. Откуда поступает большая часть отзывов в RLAIF и конституционном искусственном интеллекте?
   • Из модели искусственного интеллекта, генерирующей или критикующей ответы, уменьшающей навешивание ярлыков человеком
   • Только от платных аннотаторов
   • Из генераторов случайных чисел
   • Непосредственно из корпуса предварительной подготовки модели
7. An RLHF response receives a high learned reward but contains a false claim. What does this show?
   • High reward proves the claim is true
   • The response must have been generated without tokens
   • The reference model’s vocabulary disappeared
   • A preference-based reward is a proxy and can be mistaken
8. Why should an RLHF team examine whose preference comparisons were collected?
   • Annotator identity determines the GPU clock rate
   • The judgments and task distribution shape what the model is rewarded for
   • Every population has identical response preferences
   • Preference data affect only file compression