Test legat de ghid · Mediu Nivel

Logit Lens și Tuned Lens Quiz

Checks intermediate-layer readouts, residual-stream structure, the tuned lens translator and limitations of the raw logit lens.

Căi de ghidare aferenteObiectiv Logit și obiectiv reglat
Întrebare 1 de 8

Ce face obiectivul Logit?

Previzualizează fiecare întrebare8 întrebări

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

  1. Ce face obiectivul Logit?
    • Aplică dezintegrarea finală a modelului stărilor ascunse intermediare pentru a citi predicțiile pe strat
    • Adaugă noi straturi la un transformator
    • Îndepărtează atenția de la model
    • Traduce între limbile umane
  2. Ce îmbunătățiri cheie adaugă obiectivul reglat față de lentila logit brută?
    • Folosește un vocabular mai larg
    • Antrenează o mică hartă afină pe strat pentru a traduce stările ascunse în baza finală
    • Îndepărtează necesitatea oricărei dezintegrare
    • Funcționează doar pe modele de imagine
  3. Ce structură în transformatoare face posibile aceste lentile?
    • Filtrele convoluționale
    • Tokenizatorul
    • Fluxul rezidual aditiv pe care dezintegrarea îl proiectează mai târziu în logits
    • Rata de învățare a optimizatorului
  4. Cine a introdus obiectivul Logit original și, aproximativ, când?
    • DeepMind în 2015
    • OpenAI în 2018
    • Google în 2012
    • nostalgebraist în 2020
  5. Unde arată adesea lentila logit „cristalizarea” răspunsului final?
    • În straturi mijlocii spre târzii
    • Doar în primul strat
    • Niciodată, răspunsul apare dintr-o dată
    • În afara modelului în întregime
  6. De ce ar putea lentila logit brută să fie nesigură în primele straturi?
    • Straturile timpurii nu au neuroni
    • Stările lor ascunse nu sunt încă aliniate cu baza finală a rezultatelor la care se așteaptă dezintegrarea
    • Straturile timpurii nu sunt niciodată folosite în predicție
    • Matricea de neînglobare este aleatorie
  7. What does the model’s final unembedding map a residual-stream vector into?
    • A new set of transformer layers
    • A similarity graph over training examples
    • Vocabulary logits that can be converted into token probabilities
    • A gradient clipping threshold
  8. Why can an early-layer raw logit-lens prediction be misleading?
    • The layer has already generated the full answer
    • The tokenizer has been removed
    • The unembedding only works on images
    • The intermediate state may not yet be aligned with the final output basis