Викторина, связанная с руководством · Жесткий Уровень

Викторина по инженерному управлению активацией и представлению

Проверяет, как оцениваются векторы управления активацией, применяются при выводе и масштабируются, а также риски, связанные с обобщением, зависящим от подсказки.

Связанные направляющие путиУправление активацией и инженерия представления
Вопрос 1 из 8

В какой момент работы модели вмешивается активация рулевого управления?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. В какой момент работы модели вмешивается активация рулевого управления?
    • Во время вывода, изменяя скрытые активации
    • Только во время предварительной тренировки
    • Во время сбора данных
    • Только после того, как выводимый текст будет напечатан
  2. Как обычно вычисляется вектор рулевого управления?
    • Путем случайной инициализации матрицы
    • Как средняя разница между активациями на контрастные положительные и отрицательные подсказки
    • Путем удаления слоев из модели
    • Путем подсчета токенов в командной строке
  3. Какая гипотеза лежит в основе того, почему работает управление активацией?
    • Идея о том, что модели хранят данные в виде обычного текста.
    • Убеждение, что все нейроны одинаковы
    • Гипотеза линейного представления, согласно которой многие объекты представляют собой примерно линейные направления.
    • Утверждение, что модели не могут представлять концепции
  4. Чем управляет коэффициент масштабирования вектора рулевого управления?
    • Размер словарного запаса модели
    • Количество слоев в модели
    • Скорость обучения
    • Насколько сильно поведение подталкивается в выбранном направлении
  5. Каков известный риск слишком агрессивного управления моделью?
    • Согласованность вывода и возможности могут ухудшиться
    • Модель обучается автоматически
    • Размер файла неконтролируемо растет
    • Он постоянно переписывает веса
  6. Какой метод часто сочетается с рулевым управлением, чтобы найти интерпретируемые функции для фиксации?
    • JPEG-сжатие
    • Разреженные автоэнкодеры, которые разлагают активации на функции.
    • Регистрация доменного имени
    • Дефрагментация диска
  7. How does activation steering differ from fine-tuning the model weights?
    • It retrains the model on a new labeled dataset
    • It changes the tokenizer vocabulary
    • It adds a vector to hidden activations during inference without updating the base weights
    • It replaces the attention layers with a classifier
  8. A steering vector works on the prompts used to compute it but not on a different topic. Which limitation does this illustrate?
    • The vector must be an optimizer state
    • Steering always requires fine-tuning
    • A residual stream contains no features
    • The direction found from one prompt set may not generalize to other contexts