Rzadkie autoenkodery do quizu dotyczącego interpretacji

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Jaki jest główny cel szkolenia rzadkiego autoenkodera na temat aktywacji modelu?
   • Aby rozłożyć splątane aktywacje na możliwe do zinterpretowania, w większości izolowane cechy
   • Aby skompresować model, aby działał szybciej
   • Aby przetłumaczyć tekst między językami
   • Aby zwiększyć dokładność modelu w benchmarkach
2. How does an SAE’s sparsity penalty affect hidden-unit activations?
   • It guarantees each unit represents exactly one concept
   • It encourages only a small subset of the wider hidden layer to activate for an input
   • It makes every hidden unit activate equally
   • It removes the reconstruction objective
3. Mniej więcej, ile funkcji wyodrębniono Anthropic podczas skalowania SAE do Claude 3 Sonnet w 2024 r.?
   • Około 500
   • Około 2 tys
   • Około 34 milionów
   • Około 100 miliardów
4. Co pokazała demonstracja „Golden Gate Claude”?
   • Że SAE można trenować tylko na obrazach
   • Że model nie może już generować tekstu
   • Te funkcje nie mają wpływu na wyniki
   • To zaciśnięcie pojedynczej cechy wysoko powoduje przyczynowo sterowanie zachowaniem modelu
5. Dlaczego ukryta warstwa w SAE jest zwykle znacznie SZERZA niż aktywacja, którą rekonstruuje?
   • Ponieważ pojęcia nakładają się na siebie w mniejszej liczbie wymiarów, niż jest to naprawdę potrzebne, więc więcej jednostek pomaga je rozplątać
   • Aby szkolenie było tańsze
   • Ponieważ szersze warstwy są zawsze dokładniejsze
   • Aby zmniejszyć liczbę parametrów
6. Jakie jest znane ograniczenie obecnych rzadkich autoenkoderów?
   • Nie można ich trenować metodą gradientowego zejścia
   • Podział funkcji, w którym jedna koncepcja rozpada się na wiele oddzielnych funkcji
   • Działają tylko w sieciach splotowych
   • Eliminują potrzebę etykietowania przez człowieka
7. Which two objectives are commonly combined when training a sparse autoencoder?
   • A policy gradient and value loss
   • A next-token loss and a contrastive loss
   • Reconstruction error and a penalty on hidden activations
   • A calibration error and classification accuracy
8. What does a TopK sparse autoencoder do to encourage sparsity?
   • Keeps the K largest input pixels and discards the decoder
   • Sets all encoder weights to zero
   • Trains K different tokenizers
   • Keeps only the K largest hidden activations for an input