Тест, свързан с ръководство · Среден Ниво
Тест за моделиране на награди
Тествайте резултати от модел на възнаграждение, данни за предпочитанията, загуба на класиране по двойки, хакване на награди и използване на най-доброто от N в RLHF. Проверете допусканията и обхвата.
Въпрос 1 на 8
Какъв е основният резултат от модел на възнаграждение за дадена двойка бърз отговор?
Визуализирайте всеки въпрос8 въпроси
Отговорите и обясненията се появяват, докато отговаряте на теста.
- Какъв е основният резултат от модел на възнаграждение за дадена двойка бърз отговор?
- Единичен скаларен резултат
- Пълен текстов отговор
- Вероятностно разпределение върху речника
- Списък с предпочитани токени
- What feedback format did the InstructGPT paper collect to train its reward model?
- A guaranteed correctness label for every possible answer
- Human rankings of several model responses, converted into pairwise preferences
- A single sentiment score for each training prompt
- Only binary safety labels with no response comparisons
- Какво оптимизира загубата на стандартния модел на възнаграждение?
- Абсолютната стойност на наградата за всеки отговор
- Точността на прогнозиране на следващия токен
- Че избраният отговор има по-висок резултат от отхвърления
- Дължината на отговорите
- Какво е „хакване на награди“?
- Открадване на модела за възнаграждение на конкурент
- Метод за ускоряване на обучението
- Криптиране на сигнала за награда
- Политиката използва недостатъци в модела на възнаграждение, за да получи високи резултати без истинско качество
- Как моделът на възнаграждение архитектурно се извлича от езиков модел?
- Чрез замяна на главата за прогнозиране на токени с единична скаларна изходна глава
- Чрез добавяне на повече слоеве за внимание
- Чрез премахване на всички трансформаторни слоеве
- Чрез удвояване на речниковия запас
- Как се използва модел на възнаграждение по време на извод при вземане на проби най-доброто от N?
- Паралелно обучение на N модела за възнаграждение
- Генериране на множество отговори и използване на модела за възнаграждение, за да изберете този с най-висок резултат
- Избор на N най-често срещаните жетони
- Осредняване на N контролни точки на модела
- Why might an RLHF study use an ensemble of reward models during training?
- To guarantee that reward hacking is impossible
- To replace the human preference data with exact correctness labels
- To estimate disagreement or uncertainty across learned preference scorers
- To ensure every candidate receives the same score
- Why should reward-model evaluations include held-out comparisons?
- To ensure training comparisons are never used
- To make every output identical
- To guarantee the reward is unbiased
- To test whether preferences generalize beyond the training comparisons