Итеративный DPO и онлайн-викторина по настройке предпочтений

Ответы и пояснения появляются по мере прохождения теста.

1. Чего DPO избегает того, чего требует традиционный RLHF (PPO)?
   • Обучение отдельной модели явного вознаграждения
   • Любые данные обучения
   • Использование нейронной сети
   • Человеческие предпочтения полностью
2. Почему итеративный (онлайн) DPO зачастую лучше, чем однократный запуск DPO для фиксированного набора данных?
   • Ему не нужны метки предпочтений
   • Он сохраняет данные обучения в соответствии с политикой и обновляет их по мере изменения модели.
   • Удаляет эталонную модель
   • Это работает только для изображений
3. Какую роль эталонная модель играет в потере DPO?
   • Он генерирует конечный пользовательский вывод
   • Он обозначает предпочтения
   • Он закрепляет политику с помощью логарифмического коэффициента вероятности, контролируя отклонения.
   • Он заменяет токенизатор
4. Какова типичная последовательность одной итерации онлайн-DPO?
   • Удалите модель, а затем переобучите ее с нуля.
   • Переименовывайте только старые данные без выборки
   • Обучите CNN ответам
   • Попробуйте новые ответы, оцените предпочтения, а затем запустите обновление DPO.
5. Что контролирует бета-гиперпараметр в DPO?
   • Насколько сильно политика отклоняется от эталонной модели
   • Размер словарного запаса
   • Количество графических процессоров
   • Разрешение изображения
6. Какова ключевая идея «самовознаграждаемого» итеративного DPO?
   • Модель никогда не использует никаких предпочтений.
   • Модель генерирует и оценивает свои собственные пары ответов для создания обучающих данных.
   • Люди должны маркировать каждую пару
   • Он использует только случайные награды
7. Who can label response preferences in an online DPO iteration?
   • Only the tokenizer
   • Only the reference policy’s embedding layer
   • Human raters or an AI judge such as a reward model
   • A discriminator that never sees responses
8. What additional work does iterative DPO require compared with using a fixed preference dataset once?
   • Training no model parameters
   • Removing all evaluation from the pipeline
   • Storing every possible response in advance
   • Repeated response generation and preference labeling between updates