Gids-gekoppelde quiz · Middelmatig Niveau

Logit-lens en afgestemde lens-quiz

Controleert de uitlezingen van de tussenlagen, de reststroomstructuur, de afgestemde lensvertaler en de beperkingen van de onbewerkte logitlens.

Gerelateerde gidspadenLogit-lens en afgestemde lens
Vraag 1 van 8

Wat doet de logit-lens?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat doet de logit-lens?
    • Past de uiteindelijke ontsluiting van het model toe op tussenliggende verborgen toestanden om voorspellingen per laag te lezen
    • Voegt nieuwe lagen toe aan een transformator
    • Haalt de aandacht weg van het model
    • Vertaalt tussen menselijke talen
  2. Welke belangrijke verbetering voegt de afgestemde lens toe ten opzichte van de onbewerkte logit-lens?
    • Er wordt gebruik gemaakt van een grotere woordenschat
    • Het traint een kleine affiene kaart per laag om verborgen toestanden naar de uiteindelijke basis te vertalen
    • Het elimineert de noodzaak van elke vorm van ontsluiting
    • Het werkt alleen op afbeeldingsmodellen
  3. Welke structuur in transformatoren maakt deze lenzen mogelijk?
    • De convolutionele filters
    • De tokenizer
    • De additieve reststroom die het ontbeden later projecteert naar logits
    • Het leertempo van de optimizer
  4. Wie introduceerde de originele logit-lens, en wanneer ongeveer?
    • DiepMind in 2015
    • OpenAI in 2018
    • Google in 2012
    • nostalgebraïst anno 2020
  5. Waar laat de logit-lens vaak zien dat het uiteindelijke antwoord 'kristalliseert'?
    • In middelste tot late lagen
    • Alleen in de allereerste laag
    • Nooit, het antwoord verschijnt in één keer
    • Buiten het model geheel
  6. Waarom zou de ruwe logit-lens onbetrouwbaar kunnen zijn in vroege lagen?
    • Vroege lagen hebben geen neuronen
    • Hun verborgen toestanden zijn nog niet in lijn met de uiteindelijke outputbasis die de ontbedding verwacht
    • Vroege lagen worden nooit gebruikt bij voorspellingen
    • De ontsluitingsmatrix is willekeurig
  7. What does the model’s final unembedding map a residual-stream vector into?
    • A new set of transformer layers
    • A similarity graph over training examples
    • Vocabulary logits that can be converted into token probabilities
    • A gradient clipping threshold
  8. Why can an early-layer raw logit-lens prediction be misleading?
    • The layer has already generated the full answer
    • The tokenizer has been removed
    • The unembedding only works on images
    • The intermediate state may not yet be aligned with the final output basis