Quiz lié à un guide · Moyen Niveau

Quiz sur les objectifs Logit et les objectifs réglés

Vérifie les lectures de la couche intermédiaire, la structure du flux résiduel, le traducteur de lentille réglé et les limites de la lentille logit brute.

Chemins de guidage associésObjectif Logit et objectif réglé
Question 1 de 8

À quoi sert la lentille Logit ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. À quoi sert la lentille Logit ?
    • Applique la désintégration finale du modèle aux états cachés intermédiaires pour lire les prédictions par couche
    • Ajoute de nouveaux calques à un transformateur
    • Supprime l'attention du modèle
    • Traduit entre les langues humaines
  2. Quelle amélioration clé la lentille ajustée apporte-t-elle par rapport à la lentille logit brute ?
    • Il utilise un vocabulaire plus large
    • Il forme une petite carte affine par couche pour traduire les états cachés dans la base finale
    • Cela supprime le besoin de désintégration
    • Cela ne fonctionne que sur les modèles d'image
  3. Quelle structure dans les transformateurs rend ces lentilles possibles ?
    • Les filtres convolutifs
    • Le tokeniseur
    • Le flux résiduel additif que la désintégration projette ultérieurement sur les logits
    • Le taux d'apprentissage de l'optimiseur
  4. Qui a introduit la lentille Logit originale, et à peu près quand ?
    • DeepMind en 2015
    • OpenAI en 2018
    • Google en 2012
    • nostalgique en 2020
  5. Où la lentille logit montre-t-elle souvent la réponse finale « se cristallisant » ?
    • Dans les couches moyennes à tardives
    • Uniquement dans la toute première couche
    • Jamais, la réponse apparaît d'un seul coup
    • En dehors du modèle entièrement
  6. Pourquoi la lentille logit brute pourrait-elle ne pas être fiable dans les premières couches ?
    • Les premières couches n'ont pas de neurones
    • Leurs états cachés ne sont pas encore alignés sur la base de sortie finale attendue par la désintégration.
    • Les premières couches ne sont jamais utilisées dans la prédiction
    • La matrice de désintégration est aléatoire
  7. What does the model’s final unembedding map a residual-stream vector into?
    • A new set of transformer layers
    • A similarity graph over training examples
    • Vocabulary logits that can be converted into token probabilities
    • A gradient clipping threshold
  8. Why can an early-layer raw logit-lens prediction be misleading?
    • The layer has already generated the full answer
    • The tokenizer has been removed
    • The unembedding only works on images
    • The intermediate state may not yet be aligned with the final output basis