Gids-gekoppelde quiz · Middelmatig Niveau
Logit-lens en afgestemde lens-quiz
Controleert de uitlezingen van de tussenlagen, de reststroomstructuur, de afgestemde lensvertaler en de beperkingen van de onbewerkte logitlens.
Vraag 1 van 8
Wat doet de logit-lens?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat doet de logit-lens?
- Past de uiteindelijke ontsluiting van het model toe op tussenliggende verborgen toestanden om voorspellingen per laag te lezen
- Voegt nieuwe lagen toe aan een transformator
- Haalt de aandacht weg van het model
- Vertaalt tussen menselijke talen
- Welke belangrijke verbetering voegt de afgestemde lens toe ten opzichte van de onbewerkte logit-lens?
- Er wordt gebruik gemaakt van een grotere woordenschat
- Het traint een kleine affiene kaart per laag om verborgen toestanden naar de uiteindelijke basis te vertalen
- Het elimineert de noodzaak van elke vorm van ontsluiting
- Het werkt alleen op afbeeldingsmodellen
- Welke structuur in transformatoren maakt deze lenzen mogelijk?
- De convolutionele filters
- De tokenizer
- De additieve reststroom die het ontbeden later projecteert naar logits
- Het leertempo van de optimizer
- Wie introduceerde de originele logit-lens, en wanneer ongeveer?
- DiepMind in 2015
- OpenAI in 2018
- Google in 2012
- nostalgebraïst anno 2020
- Waar laat de logit-lens vaak zien dat het uiteindelijke antwoord 'kristalliseert'?
- In middelste tot late lagen
- Alleen in de allereerste laag
- Nooit, het antwoord verschijnt in één keer
- Buiten het model geheel
- Waarom zou de ruwe logit-lens onbetrouwbaar kunnen zijn in vroege lagen?
- Vroege lagen hebben geen neuronen
- Hun verborgen toestanden zijn nog niet in lijn met de uiteindelijke outputbasis die de ontbedding verwacht
- Vroege lagen worden nooit gebruikt bij voorspellingen
- De ontsluitingsmatrix is willekeurig
- What does the model’s final unembedding map a residual-stream vector into?
- A new set of transformer layers
- A similarity graph over training examples
- Vocabulary logits that can be converted into token probabilities
- A gradient clipping threshold
- Why can an early-layer raw logit-lens prediction be misleading?
- The layer has already generated the full answer
- The tokenizer has been removed
- The unembedding only works on images
- The intermediate state may not yet be aligned with the final output basis