Тест, свързан с ръководство · трудно Ниво

Разредени автоенкодери за тест за интерпретация

Проверява реконструкцията и рядкостта на разредения автоматичен енкодер, функциите за активиране, разширяването на ширината, разделянето на характеристиките и експериментите с причинно-следственото управление.

Свързани ръководни пътекиРазредени автоенкодери за интерпретируемост
Въпрос 1 на 8

Каква е основната цел на обучението на разреден автоенкодер за активации на модел?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Каква е основната цел на обучението на разреден автоенкодер за активации на модел?
    • За разлагане на заплетени активации на интерпретируеми, предимно изолирани функции
    • За компресиране на модела, така че да работи по-бързо
    • За превод на текст между езици
    • За повишаване на точността на модела при бенчмаркове
  2. How does an SAE’s sparsity penalty affect hidden-unit activations?
    • It guarantees each unit represents exactly one concept
    • It encourages only a small subset of the wider hidden layer to activate for an input
    • It makes every hidden unit activate equally
    • It removes the reconstruction objective
  3. Приблизително колко функции извлече Anthropic при мащабиране на SAE до Claude 3 Sonnet през 2024 г.?
    • Около 500
    • Около 2000
    • Около 34 милиона
    • Около 100 милиарда
  4. Какво показа демонстрацията „Golden Gate Claude“?
    • Това SAE може да се обучава само на изображения
    • Че моделът вече не може да произвежда текст
    • Тези функции нямат ефект върху резултатите
    • Това затягане на една характеристика високо причинно насочва поведението на модела
  5. Защо скрит слой в SAE обикновено е много ПО-ШИРОК от активирането, което реконструира?
    • Тъй като концепциите се наслагват в по-малко измерения, отколкото наистина се нуждаят, така че повече единици помагат да ги разплитаме
    • За да стане обучението по-евтино
    • Тъй като по-широките слоеве винаги са по-точни
    • За да намалите броя на параметрите
  6. Кое е известно ограничение на текущите редки автоенкодери?
    • Те не могат да бъдат обучени с градиентно спускане
    • Разделяне на функции, при което една концепция се разпада на много отделни характеристики
    • Те работят само в конволюционни мрежи
    • Те елиминират необходимостта от каквото и да е човешко етикетиране
  7. Which two objectives are commonly combined when training a sparse autoencoder?
    • A policy gradient and value loss
    • A next-token loss and a contrastive loss
    • Reconstruction error and a penalty on hidden activations
    • A calibration error and classification accuracy
  8. What does a TopK sparse autoencoder do to encourage sparsity?
    • Keeps the K largest input pixels and discards the decoder
    • Sets all encoder weights to zero
    • Trains K different tokenizers
    • Keeps only the K largest hidden activations for an input