Útmutatóhoz kapcsolódó kvíz · Kemény Szint

Aktiválási irányítási és reprezentációs mérnöki kvíz

Checks how activation steering vectors are estimated, applied at inference and scaled, along with risks from prompt-dependent generalization.

kérdés 1 -ból 8

A modell működésének mely pontján avatkozik be az aktiváló kormányzás?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. A modell működésének mely pontján avatkozik be az aktiváló kormányzás?
    • A következtetés időpontjában a rejtett aktiválások módosításával
    • Csak az előképzés során
    • Az adatgyűjtés során
    • Csak a kimeneti szöveg kinyomtatása után
  2. Hogyan számítanak ki általában egy kormányvektort?
    • Egy mátrix véletlenszerű inicializálásával
    • A kontrasztos pozitív és negatív promptok aktiválása közötti átlagos különbségként
    • Rétegek törlésével a modellből
    • A tokenek megszámlálásával a promptban
  3. Melyik hipotézis támasztja alá, hogy miért működik az aktiváló kormányzás?
    • Az az elképzelés, hogy a modellek egyszerű szövegként tárolják az adatokat
    • Az a hiedelem, hogy minden neuron egyforma
    • A lineáris reprezentáció hipotézise, hogy sok jellemző nagyjából lineáris irány
    • Az az állítás, hogy a modellek nem képviselhetnek fogalmakat
  4. Mit vezérel a skálázási együttható egy kormányvektoron?
    • A modell szókincsének mérete
    • A modellben lévő rétegek száma
    • A képzés tanulási aránya
    • Milyen erősen tolódik a viselkedés a választott irányba
  5. Mi az ismert kockázata egy modell túl agresszív kormányzásának?
    • A kimeneti koherencia és a képességek romolhatnak
    • A modell automatikusan képezi magát
    • A fájl mérete ellenőrizhetetlenül növekszik
    • Véglegesen átírja a súlyokat
  6. Melyik technikát párosítják gyakran a kormányzással, hogy értelmezhető funkciókat találjanak a rögzítéshez?
    • JPEG tömörítés
    • Ritka automatikus kódolók, amelyek az aktiválásokat szolgáltatásokra bontják
    • Domain név regisztráció
    • Lemez töredezettségmentesítés
  7. How does activation steering differ from fine-tuning the model weights?
    • It retrains the model on a new labeled dataset
    • It changes the tokenizer vocabulary
    • It adds a vector to hidden activations during inference without updating the base weights
    • It replaces the attention layers with a classifier
  8. A steering vector works on the prompts used to compute it but not on a different topic. Which limitation does this illustrate?
    • The vector must be an optimizer state
    • Steering always requires fine-tuning
    • A residual stream contains no features
    • The direction found from one prompt set may not generalize to other contexts