Kvíz spojený s průvodcem · Těžko úroveň
Kvíz s vektory funkcí a reprezentacemi úkolů
Studujte, jak jsou funkční vektory extrahovány z hlav pozornosti, vstřikovány do skrytých stavů a testovány napříč kontexty úkolů.
Otázka 1 z 8
Co představuje funkční vektor ve studovaných jazykových modelech?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co představuje funkční vektor ve studovaných jazykových modelech?
- A compact activation-space representation associated with a demonstrated task
- The model’s full weight matrix
- A single token embedding in every setting
- The optimizer’s learning rate
- Jak se obvykle konstruuje funkční vektor?
- Sečtením všech vložení slov do slovní zásoby
- Zprůměrováním výstupů konkrétního úkolu vede pozornost k příkladovým výzvám
- Doladěním modelu na jednom příkladu
- Přečtením konečných softmax pravděpodobností
- Co pozoroval papír funkčního vektoru po vložení vektoru do výzvy k nulovému výstřelu?
- The model always crashed
- It guaranteed correct answers on any task
- It could trigger the associated task in the tested settings
- It permanently changed the model weights
- Která technika analýzy je základem hledání hlav, které nesou funkční vektor?
- Gradientní klesání na ztrátě
- Hledání paprskem
- Regulace vypadnutí
- Analýza kauzální mediace
- Co poskytují experimenty s funkčními vektory důkazy?
- Some models form reusable internal representations associated with tasks
- All language models only memorize text
- Every model has one universal task vector
- Tokenization alone determines every behavior
- Why are function vectors interesting to steering research?
- They guarantee safe or correct behavior
- They provide an activation-level intervention that can influence task behavior in tested settings
- They eliminate prompts for every application
- They make all model decisions fully transparent
- At what part of the transformer did the paper report strong function-vector effects?
- Only the input embedding table
- Only the final output logits
- Middle layers in the tested models
- Slovní zásoba tokenizeru
- What happened when researchers summed some function vectors?
- The vectors always canceled to zero
- The model’s weights were permanently updated
- Every possible task was composed perfectly
- Some combinations triggered new complex tasks in the tested experiments