Quiz sur le pilotage de l'activation et l'ingénierie des représentations

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. A quel moment du fonctionnement du modèle intervient le pilotage d'activation ?
   • Au moment de l'inférence, en modifiant les activations cachées
   • Uniquement pendant le pré-entraînement
   • Pendant la collecte de données
   • Seulement après l'impression du texte de sortie
2. Comment un vecteur de direction est-il généralement calculé ?
   • En initialisant aléatoirement une matrice
   • Comme la différence moyenne entre les activations sur des invites positives et négatives contrastées
   • En supprimant des calques du modèle
   • En comptant les jetons dans l'invite
3. Quelle hypothèse sous-tend le fonctionnement du pilotage par activation ?
   • L'idée selon laquelle les modèles stockent les données sous forme de texte brut
   • La croyance que tous les neurones sont identiques
   • L'hypothèse de la représentation linéaire, selon laquelle de nombreuses entités sont des directions à peu près linéaires
   • L'affirmation selon laquelle les modèles ne peuvent pas représenter des concepts
4. Que contrôle le coefficient d’échelle sur un vecteur de direction ?
   • La taille du vocabulaire du modèle
   • Le nombre de couches dans le modèle
   • Le taux d’apprentissage de la formation
   • Dans quelle mesure le comportement est poussé dans la direction choisie
5. Quel est le risque connu lié à un pilotage trop agressif d’un modèle ?
   • La cohérence et les capacités des résultats peuvent se dégrader
   • Le modèle s'entraîne automatiquement
   • La taille du fichier augmente de manière incontrôlable
   • Il réécrit définitivement les poids
6. Quelle technique est souvent associée au pilotage pour trouver des caractéristiques interprétables à serrer ?
   • Compression JPEG
   • Encodeurs automatiques clairsemés qui décomposent les activations en fonctionnalités
   • Enregistrement de nom de domaine
   • Défragmentation du disque
7. How does activation steering differ from fine-tuning the model weights?
   • It retrains the model on a new labeled dataset
   • It changes the tokenizer vocabulary
   • It adds a vector to hidden activations during inference without updating the base weights
   • It replaces the attention layers with a classifier
8. A steering vector works on the prompts used to compute it but not on a different topic. Which limitation does this illustrate?
   • The vector must be an optimizer state
   • Steering always requires fine-tuning
   • A residual stream contains no features
   • The direction found from one prompt set may not generalize to other contexts