Gids-gekoppelde quiz · Moeilijk Niveau

Activeringsbesturing en representatie Engineering Quiz

Controleert hoe activeringsstuurvectoren worden geschat, toegepast bij inferentie en geschaald, samen met de risico's van prompt-afhankelijke generalisatie.

Vraag 1 van 8

Op welk punt in de werking van het model komt activatiesturing tussenbeide?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Op welk punt in de werking van het model komt activatiesturing tussenbeide?
    • Op het moment van inferentie, door verborgen activeringen te wijzigen
    • Alleen tijdens de voortraining
    • Tijdens het verzamelen van gegevens
    • Pas nadat de uitvoertekst is afgedrukt
  2. Hoe wordt een stuurvector doorgaans berekend?
    • Door het willekeurig initialiseren van een matrix
    • Als het gemiddelde verschil tussen activeringen bij contrasterende positieve en negatieve aanwijzingen
    • Door lagen uit het model te verwijderen
    • Door tokens in de prompt te tellen
  3. Welke hypothese ligt ten grondslag aan waarom activatiesturing werkt?
    • Het idee dat modellen gegevens opslaan als platte tekst
    • Het geloof dat alle neuronen identiek zijn
    • De lineaire representatiehypothese, dat veel kenmerken grofweg lineaire richtingen zijn
    • De bewering dat modellen geen concepten kunnen representeren
  4. Wat regelt de schaalcoëfficiënt op een stuurvector?
    • De woordenschatgrootte van het model
    • Het aantal lagen in het model
    • Het leerpercentage van de training
    • Hoe sterk het gedrag in de gekozen richting wordt geduwd
  5. Wat is een bekend risico als een model te agressief wordt bestuurd?
    • De coherentie en capaciteiten van de output kunnen verslechteren
    • Het model traint zichzelf automatisch
    • De bestandsgrootte groeit ongecontroleerd
    • Het herschrijft permanent de gewichten
  6. Welke techniek wordt vaak gecombineerd met sturen om interpreteerbare kenmerken te vinden die kunnen worden vastgeklemd?
    • JPEG-compressie
    • Schaarse auto-encoders die activeringen opsplitsen in functies
    • Domeinnaamregistratie
    • Schijfdefragmentatie
  7. How does activation steering differ from fine-tuning the model weights?
    • It retrains the model on a new labeled dataset
    • It changes the tokenizer vocabulary
    • It adds a vector to hidden activations during inference without updating the base weights
    • It replaces the attention layers with a classifier
  8. A steering vector works on the prompts used to compute it but not on a different topic. Which limitation does this illustrate?
    • The vector must be an optimizer state
    • Steering always requires fine-tuning
    • A residual stream contains no features
    • The direction found from one prompt set may not generalize to other contexts