Тест, свързан с ръководство · трудно Ниво

Тест за управление на активирането и инженеринг на представяне

Проверява как векторите за управление на активирането са оценени, приложени при извод и мащабирани, заедно с рисковете от обобщаване, зависимо от бързото време.

Свързани ръководни пътекиУправление на активирането и инженеринг на представителството
Въпрос 1 на 8

В кой момент от работата на модела се намесва управлението за активиране?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. В кой момент от работата на модела се намесва управлението за активиране?
    • По време на извод, чрез модифициране на скрити активации
    • Само по време на предварителна тренировка
    • По време на събирането на данни
    • Само след като изходният текст бъде отпечатан
  2. Как обикновено се изчислява управляващият вектор?
    • Чрез произволно инициализиране на матрица
    • Като средна разлика между активациите при контрастни положителни и отрицателни подкани
    • Чрез изтриване на слоеве от модела
    • Чрез преброяване на жетони в подканата
  3. Коя хипотеза стои в основата защо управлението за активиране работи?
    • Идеята, че моделите съхраняват данни като обикновен текст
    • Убеждението, че всички неврони са идентични
    • Хипотезата за линейно представяне, че много характеристики са приблизително линейни посоки
    • Твърдението, че моделите не могат да представят концепции
  4. Какво контролира мащабиращият коефициент на вектора на управление?
    • Размерът на речника на модела
    • Броят на слоевете в модела
    • Степента на обучение при обучение
    • Колко силно се тласка поведението в избраната посока
  5. Какъв е известен риск от твърде агресивно управление на модел?
    • Кохерентността и възможностите на изхода могат да се влошат
    • Моделът се обучава автоматично
    • Размерът на файла нараства неконтролируемо
    • Постоянно пренаписва теглата
  6. Коя техника често се съчетава с управление, за да се намерят интерпретируеми характеристики за затягане?
    • JPEG компресия
    • Разредени автоенкодери, които разлагат активациите на функции
    • Регистрация на име на домейн
    • Дефрагментиране на диска
  7. How does activation steering differ from fine-tuning the model weights?
    • It retrains the model on a new labeled dataset
    • It changes the tokenizer vocabulary
    • It adds a vector to hidden activations during inference without updating the base weights
    • It replaces the attention layers with a classifier
  8. A steering vector works on the prompts used to compute it but not on a different topic. Which limitation does this illustrate?
    • The vector must be an optimizer state
    • Steering always requires fine-tuning
    • A residual stream contains no features
    • The direction found from one prompt set may not generalize to other contexts