Gids-gekoppelde quiz · Moeilijk Niveau
Activeringsbesturing en representatie Engineering Quiz
Controleert hoe activeringsstuurvectoren worden geschat, toegepast bij inferentie en geschaald, samen met de risico's van prompt-afhankelijke generalisatie.
Vraag 1 van 8
Op welk punt in de werking van het model komt activatiesturing tussenbeide?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Op welk punt in de werking van het model komt activatiesturing tussenbeide?
- Op het moment van inferentie, door verborgen activeringen te wijzigen
- Alleen tijdens de voortraining
- Tijdens het verzamelen van gegevens
- Pas nadat de uitvoertekst is afgedrukt
- Hoe wordt een stuurvector doorgaans berekend?
- Door het willekeurig initialiseren van een matrix
- Als het gemiddelde verschil tussen activeringen bij contrasterende positieve en negatieve aanwijzingen
- Door lagen uit het model te verwijderen
- Door tokens in de prompt te tellen
- Welke hypothese ligt ten grondslag aan waarom activatiesturing werkt?
- Het idee dat modellen gegevens opslaan als platte tekst
- Het geloof dat alle neuronen identiek zijn
- De lineaire representatiehypothese, dat veel kenmerken grofweg lineaire richtingen zijn
- De bewering dat modellen geen concepten kunnen representeren
- Wat regelt de schaalcoëfficiënt op een stuurvector?
- De woordenschatgrootte van het model
- Het aantal lagen in het model
- Het leerpercentage van de training
- Hoe sterk het gedrag in de gekozen richting wordt geduwd
- Wat is een bekend risico als een model te agressief wordt bestuurd?
- De coherentie en capaciteiten van de output kunnen verslechteren
- Het model traint zichzelf automatisch
- De bestandsgrootte groeit ongecontroleerd
- Het herschrijft permanent de gewichten
- Welke techniek wordt vaak gecombineerd met sturen om interpreteerbare kenmerken te vinden die kunnen worden vastgeklemd?
- JPEG-compressie
- Schaarse auto-encoders die activeringen opsplitsen in functies
- Domeinnaamregistratie
- Schijfdefragmentatie
- How does activation steering differ from fine-tuning the model weights?
- It retrains the model on a new labeled dataset
- It changes the tokenizer vocabulary
- It adds a vector to hidden activations during inference without updating the base weights
- It replaces the attention layers with a classifier
- A steering vector works on the prompts used to compute it but not on a different topic. Which limitation does this illustrate?
- The vector must be an optimizer state
- Steering always requires fine-tuning
- A residual stream contains no features
- The direction found from one prompt set may not generalize to other contexts