Тест, свързан с ръководство · Среден Ниво
Итеративно DPO и онлайн тест за настройка на предпочитанията
Научете как итеративният DPO опреснява данните за предпочитанията, използва съдии и търгува с повтарящи се кръгове на подравняване срещу добавени разходи и пристрастия.
Въпрос 1 на 8
Какво избягва DPO, което изисква традиционният RLHF (PPO)?
Визуализирайте всеки въпрос8 въпроси
Отговорите и обясненията се появяват, докато отговаряте на теста.
- Какво избягва DPO, което изисква традиционният RLHF (PPO)?
- Обучение на отделен ясен модел на възнаграждение
- Всякакви данни за обучение
- Използване на невронна мрежа
- Изцяло човешки предпочитания
- Защо итеративният (онлайн) DPO често е по-добър от еднократното стартиране на DPO върху фиксиран набор от данни?
- Не се нуждае от етикети за предпочитания
- Той поддържа данните за обучение в съответствие с правилата и свежи, когато моделът се променя
- Той премахва референтния модел
- Работи само за изображения
- Каква роля играе референтният модел в загубата на DPO?
- Той генерира крайния потребителски изход
- Той обозначава предпочитанията
- Той закотвя политиката чрез коефициент на логаритмична вероятност, контролирайки отклонението
- Той замества токенизатора
- В една итерация на онлайн DPO, каква е типичната последователност?
- Изтрийте модела, след това преквалифицирайте от нулата
- Само повторно етикетиране на стари данни без вземане на проби
- Обучете CNN на отговорите
- Изпробвайте нови отговори, преценете предпочитанията, след което стартирайте DPO актуализация
- Какво контролира бета хиперпараметърът в DPO?
- Колко силно политиката се отклонява от референтния модел
- Размерът на речниковия запас
- Броят на графичните процесори
- Резолюцията на изображението
- Каква е ключовата идея зад „самонаграждаваща се“ итеративна DPO?
- Моделът никога не използва предпочитания
- Моделът генерира и преценява свои собствени двойки отговори, за да създаде данни за обучение
- Хората трябва да етикетират всяка една двойка
- Използва само произволни награди
- Who can label response preferences in an online DPO iteration?
- Only the tokenizer
- Only the reference policy’s embedding layer
- Human raters or an AI judge such as a reward model
- A discriminator that never sees responses
- What additional work does iterative DPO require compared with using a fixed preference dataset once?
- Training no model parameters
- Removing all evaluation from the pipeline
- Storing every possible response in advance
- Repeated response generation and preference labeling between updates