Kvíz spojený s průvodcem · Těžko úroveň

Kvíz s vektory funkcí a reprezentacemi úkolů

Studujte, jak jsou funkční vektory extrahovány z hlav pozornosti, vstřikovány do skrytých stavů a ​​testovány napříč kontexty úkolů.

Související vodicí cestyFunkční vektory a reprezentace úkolů
Otázka 1 z 8

Co představuje funkční vektor ve studovaných jazykových modelech?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co představuje funkční vektor ve studovaných jazykových modelech?
    • A compact activation-space representation associated with a demonstrated task
    • The model’s full weight matrix
    • A single token embedding in every setting
    • The optimizer’s learning rate
  2. Jak se obvykle konstruuje funkční vektor?
    • Sečtením všech vložení slov do slovní zásoby
    • Zprůměrováním výstupů konkrétního úkolu vede pozornost k příkladovým výzvám
    • Doladěním modelu na jednom příkladu
    • Přečtením konečných softmax pravděpodobností
  3. Co pozoroval papír funkčního vektoru po vložení vektoru do výzvy k nulovému výstřelu?
    • The model always crashed
    • It guaranteed correct answers on any task
    • It could trigger the associated task in the tested settings
    • It permanently changed the model weights
  4. Která technika analýzy je základem hledání hlav, které nesou funkční vektor?
    • Gradientní klesání na ztrátě
    • Hledání paprskem
    • Regulace vypadnutí
    • Analýza kauzální mediace
  5. Co poskytují experimenty s funkčními vektory důkazy?
    • Some models form reusable internal representations associated with tasks
    • All language models only memorize text
    • Every model has one universal task vector
    • Tokenization alone determines every behavior
  6. Why are function vectors interesting to steering research?
    • They guarantee safe or correct behavior
    • They provide an activation-level intervention that can influence task behavior in tested settings
    • They eliminate prompts for every application
    • They make all model decisions fully transparent
  7. At what part of the transformer did the paper report strong function-vector effects?
    • Only the input embedding table
    • Only the final output logits
    • Middle layers in the tested models
    • Slovní zásoba tokenizeru
  8. What happened when researchers summed some function vectors?
    • The vectors always canceled to zero
    • The model’s weights were permanently updated
    • Every possible task was composed perfectly
    • Some combinations triggered new complex tasks in the tested experiments