Kvíz spojený s průvodcem · Těžko úroveň
Aktivační kvíz řízení a reprezentace
Kontroluje, jak jsou odhadovány, aplikovány a škálovány vektory řízení aktivace, spolu s riziky plynoucí z generalizace závislé na pohotově.
Otázka 1 z 8
V jakém okamžiku provozu modelu zasahuje aktivační řízení?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- V jakém okamžiku provozu modelu zasahuje aktivační řízení?
- V době odvození úpravou skrytých aktivací
- Pouze během předtréninku
- Během sběru dat
- Až po vytištění výstupního textu
- Jak se běžně počítá vektor řízení?
- Náhodnou inicializací matice
- Jako střední rozdíl mezi aktivacemi na kontrastní pozitivní a negativní výzvy
- Odstraněním vrstev z modelu
- Počítáním žetonů ve výzvě
- Která hypotéza je základem toho, proč aktivační řízení funguje?
- Myšlenka, že modely ukládají data jako prostý text
- Víra, že všechny neurony jsou totožné
- Hypotéza lineární reprezentace, že mnoho prvků má zhruba lineární směry
- Tvrzení, že modely nemohou reprezentovat pojmy
- Co řídí koeficient změny velikosti vektoru řízení?
- Velikost slovní zásoby modelu
- Počet vrstev v modelu
- Míra učení tréninku
- Jak silně je chování tlačeno zvoleným směrem
- Jaké je známé riziko příliš agresivního řízení modelu?
- Soudržnost a možnosti výstupu se mohou zhoršit
- Model se trénuje automaticky
- Velikost souboru nekontrolovatelně roste
- Trvale přepisuje váhy
- Která technika je často spárována s řízením, aby se našly interpretovatelné prvky k upnutí?
- komprese JPEG
- Řídké automatické kodéry, které rozkládají aktivace na funkce
- Registrace doménového jména
- Defragmentace disku
- How does activation steering differ from fine-tuning the model weights?
- It retrains the model on a new labeled dataset
- It changes the tokenizer vocabulary
- It adds a vector to hidden activations during inference without updating the base weights
- It replaces the attention layers with a classifier
- A steering vector works on the prompts used to compute it but not on a different topic. Which limitation does this illustrate?
- The vector must be an optimizer state
- Steering always requires fine-tuning
- A residual stream contains no features
- The direction found from one prompt set may not generalize to other contexts