Вікторина, пов’язана з посібником · важко Рівень

Тест із управління активацією та інженерії представлення

Перевіряє, як вектори керування активацією оцінюються, застосовуються під час висновку та масштабуються, а також ризики від швидкого залежного узагальнення.

Пов'язані напрямні шляхиКерування активацією та розробка представлення
Питання 1 з 8

У який момент роботи моделі втручається активація керма?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. У який момент роботи моделі втручається активація керма?
    • Під час висновку, змінюючи приховані активації
    • Тільки під час попередньої підготовки
    • Під час збору даних
    • Тільки після того, як вихідний текст друкується
  2. Як зазвичай обчислюється вектор керування?
    • Шляхом випадкової ініціалізації матриці
    • Як середня різниця між активаціями на контрастних позитивних і негативних підказках
    • Видаляючи шари з моделі
    • Підраховуючи жетони в підказці
  3. Яка гіпотеза лежить в основі того, чому активація керма працює?
    • Ідея про те, що моделі зберігають дані як звичайний текст
    • Віра в те, що всі нейрони ідентичні
    • Гіпотеза лінійного представлення, згідно з якою багато функцій мають приблизно лінійні напрямки
    • Твердження, що моделі не можуть представляти поняття
  4. Чим керує масштабний коефіцієнт вектора рульового керування?
    • Розмір словникового запасу моделі
    • Кількість шарів у моделі
    • Швидкість тренувального навчання
    • Наскільки сильно поведінка підштовхується у вибраному напрямку
  5. Який відомий ризик занадто агресивного керування моделлю?
    • Узгодженість виведення та можливості можуть погіршитися
    • Модель тренується автоматично
    • Розмір файлу нестримно зростає
    • Він постійно переписує ваги
  6. Яка техніка часто поєднується з керуванням, щоб знайти інтерпретовані функції для затискання?
    • Стиснення JPEG
    • Розріджені автокодери, які розкладають активації на функції
    • Реєстрація доменного імені
    • Дефрагментація диска
  7. How does activation steering differ from fine-tuning the model weights?
    • It retrains the model on a new labeled dataset
    • It changes the tokenizer vocabulary
    • It adds a vector to hidden activations during inference without updating the base weights
    • It replaces the attention layers with a classifier
  8. A steering vector works on the prompts used to compute it but not on a different topic. Which limitation does this illustrate?
    • The vector must be an optimizer state
    • Steering always requires fine-tuning
    • A residual stream contains no features
    • The direction found from one prompt set may not generalize to other contexts