Test de inginerie de conducere și reprezentare a activării

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

1. În ce moment al funcționării modelului intervine direcția de activare?
   • La momentul deducerii, prin modificarea activărilor ascunse
   • Numai în timpul antrenamentului preliminar
   • În timpul colectării datelor
   • Numai după ce textul de ieșire este tipărit
2. Cum se calculează în mod obișnuit un vector de direcție?
   • Prin inițializarea aleatorie a unei matrice
   • Ca diferență medie între activări pe solicitări contrastante pozitive și negative
   • Prin ștergerea straturilor din model
   • Numărând jetoane în prompt
3. Ce ipoteză stă la baza de ce funcționează direcția de activare?
   • Ideea că modelele stochează datele ca text simplu
   • Credința că toți neuronii sunt identici
   • Ipoteza reprezentării liniare, că multe caracteristici sunt direcții aproximativ liniare
   • Afirmația că modelele nu pot reprezenta concepte
4. Ce controlează coeficientul de scalare pe un vector de direcție?
   • Dimensiunea vocabularului modelului
   • Numărul de straturi din model
   • Rata de învățare la antrenament
   • Cât de puternic este împins comportamentul în direcția aleasă
5. Care este riscul cunoscut de a conduce un model prea agresiv?
   • Coerența și capacitățile rezultatelor se pot degrada
   • Modelul se antrenează automat
   • Dimensiunea fișierului crește necontrolat
   • Rescrie permanent greutățile
6. Ce tehnică este adesea asociată cu direcția pentru a găsi caracteristici interpretabile de fixat?
   • compresie JPEG
   • Autoencodere rare care descompun activările în caracteristici
   • Înregistrarea numelui de domeniu
   • Defragmentarea discului
7. How does activation steering differ from fine-tuning the model weights?
   • It retrains the model on a new labeled dataset
   • It changes the tokenizer vocabulary
   • It adds a vector to hidden activations during inference without updating the base weights
   • It replaces the attention layers with a classifier
8. A steering vector works on the prompts used to compute it but not on a different topic. Which limitation does this illustrate?
   • The vector must be an optimizer state
   • Steering always requires fine-tuning
   • A residual stream contains no features
   • The direction found from one prompt set may not generalize to other contexts