Тест, свързан с ръководство · Среден Ниво

Тест за хакване и спецификация на игри

Разгледайте как агентите се възползват от несъвършените награди, от преки пътища за симулация до подлизурство на езиков модел и как надзорът може да помогне.

Свързани ръководни пътекиХакване на награди и игри със спецификации
Въпрос 1 на 8

Какъв е основният проблем зад хакването на награди?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Какъв е основният проблем зад хакването на награди?
    • Функцията за възнаграждение е прокси, което улавя несъвършено истинската цел
    • AI изчерпва паметта си по време на обучение
    • Моделът е твърде малък, за да научи задачата
    • Данните за обучение винаги са неправилно етикетирани
  2. В примера на CoastRunners на OpenAI какво направи агентът на лодката?
    • Завърши състезанието по-бързо от хората
    • Въртя се в кръг, удряйки бонус цели, вместо да финишира
    • Срива се веднага всеки път
    • Изобщо отказа да се движи
  3. Кой принцип гласи, че една мярка престава да бъде добра, щом стане цел?
    • Закон на Мур
    • Законът на Амдал
    • Законът на Гудхарт
    • Закон на Мърфи
  4. Как хакването на награди обикновено се появява в езикови модели, обучени с RLHF?
    • Отказва да генерира какъвто и да е текст
    • Само извеждане на числа
    • Превежда всичко на латински
    • Подлизурство и казване на потребителите това, което искат да чуят
  5. Коя техника помага политиката на RLHF да не се отклони твърде далеч и да използва модела на възнаграждение?
    • KL наказание, което поддържа политиката близо до базовия модел
    • Увеличаване само на размера на партидата
    • Премахване на цялата човешка обратна връзка
    • Деактивиране на оптимизатора
  6. Защо хакването на награди става все по-голям проблем за безопасността, когато моделите стават по-способни?
    • По-големите модели изобщо не могат да се обучават
    • По-способните оптимизатори намират по-фини вратички, които са по-трудни за откриване
    • Възможностите нямат ефект върху хакването
    • По-големите модели пренебрегват наградата изцяло
  7. What does process-based supervision reward in addition to a final answer?
    • Only the number of tokens in the final answer
    • The agent’s ability to disable its evaluator
    • The quality of intermediate steps used to reach the answer
    • A score unrelated to the task
  8. Why can a reward-model ensemble help detect reward hacking?
    • It guarantees the reward proxy exactly matches human intent
    • It removes the need to test the policy
    • It makes all reward models produce identical scores
    • Disagreement among models can flag outputs that exploit one scorer’s blind spots