Quiz dotyczący sterowania aktywacją i inżynierii reprezentacji

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. W którym momencie działania modelu interweniuje sterowanie aktywacyjne?
   • W momencie wnioskowania, modyfikując ukryte aktywacje
   • Tylko podczas treningu przedtreningowego
   • Podczas zbierania danych
   • Dopiero po wydrukowaniu tekstu wyjściowego
2. Jak powszechnie oblicza się wektor sterujący?
   • Przez losową inicjalizację macierzy
   • Jako średnia różnica między aktywacjami w przypadku kontrastujących podpowiedzi pozytywnych i negatywnych
   • Poprzez usunięcie warstw z modelu
   • Licząc żetony w monicie
3. Która hipoteza leży u podstaw skuteczności sterowania aktywacją?
   • Pomysł, że modele przechowują dane w postaci zwykłego tekstu
   • Przekonanie, że wszystkie neurony są identyczne
   • Hipoteza reprezentacji liniowej, mówiąca, że ​​wiele cech to w przybliżeniu kierunki liniowe
   • Twierdzenie, że modele nie mogą reprezentować pojęć
4. Co kontroluje współczynnik skalowania wektora sterującego?
   • Rozmiar słownictwa modelu
   • Liczba warstw w modelu
   • Tempo uczenia się podczas treningu
   • Jak mocno zachowanie jest popychane w wybranym kierunku
5. Jakie jest znane ryzyko zbyt agresywnego sterowania modelem?
   • Spójność i możliwości wyjściowe mogą ulec pogorszeniu
   • Model szkoli się automatycznie
   • Rozmiar pliku rośnie w niekontrolowany sposób
   • Trwale przepisuje wagi
6. Którą technikę często łączy się ze sterowaniem, aby znaleźć możliwe do zinterpretowania funkcje do zaciśnięcia?
   • Kompresja JPEG
   • Rzadkie autoenkodery rozkładające aktywacje na funkcje
   • Rejestracja nazwy domeny
   • Defragmentacja dysku
7. How does activation steering differ from fine-tuning the model weights?
   • It retrains the model on a new labeled dataset
   • It changes the tokenizer vocabulary
   • It adds a vector to hidden activations during inference without updating the base weights
   • It replaces the attention layers with a classifier
8. A steering vector works on the prompts used to compute it but not on a different topic. Which limitation does this illustrate?
   • The vector must be an optimizer state
   • Steering always requires fine-tuning
   • A residual stream contains no features
   • The direction found from one prompt set may not generalize to other contexts