Вікторина з вирівнювання ШІ

Відповіді та пояснення з’являються під час виконання тесту.

1. У дослідженні вирівнювання, що описує термін «злом винагороди»?
   • Модель відмовляється оптимізувати свою винагороду, оскільки завдання здається шкідливим
   • Агент використовує недоліки у своєму сигналі винагороди замість того, щоб виконувати заплановане завдання
   • Зловмисник викрадення ваги моделі винагороди для перенавчання конкуруючої системи
   • Розробники вручну підвищують значення винагороди для прискорення конвергенції під час навчання
2. Яка роль моделі винагороди в RLHF?
   • Він повністю замінює людських оцінювачів, записуючи еталонні відповіді для точного налаштування
   • Він зберігає фіксований список заборонених слів, які політика ніколи не дозволяє виводити
   • Він створює новий текст перед навчанням, щоб базова модель мала більше даних для навчання
   • Він вивчає порівняння людських уподобань і оцінює результати, щоб керувати політикою
3. What does goal misspecification mean in the guide?
   • A model behaves differently when it recognizes a test setting
   • The written objective fails to represent what people actually intend
   • An agent finds a shortcut in a proxy metric while optimizing it
   • A model refuses every task after a safety update
4. Which description matches instrumental convergence in the guide?
   • A user changes their prompt after a refusal
   • A system may seek power or resources because they help achieve many possible goals
   • A test set is held out from training
   • A reward model stores written principles
5. Which modern alignment approach is named in the guide?
   • Credit scoring notices
   • Post-market incident reporting
   • Dataset deduplication
   • Конституційний ШІ
6. Що намагаються вирішити дослідження «масштабованого контролю»?
   • Як зменшити кількість параметрів, зберігаючи незмінну точність
   • Як люди можуть контролювати ШІ над завданнями, які вони не можуть оцінити безпосередньо
   • Як надати модель мільйонам користувачів одночасно без збільшення затримки
   • Як ефективно масштабувати навчальні кластери в кількох центрах обробки даних
7. Why does preference optimization not prove that a model has adopted human intent as an internal goal?
   • It improves average responses but does not prove stable behavior under shift or pressure
   • It prevents models from using human preference data
   • It guarantees a model will ignore every written instruction
   • It measures only GPU efficiency
8. Why might an alignment evaluation include tests for evaluation awareness?
   • To measure the number of human raters in training
   • To determine whether a reward model has enough parameters
   • To see whether a model changes behavior when it recognizes a test setting
   • To prove that a system is conscious