Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Logit Lens és Tuned Lens kvíz

Checks intermediate-layer readouts, residual-stream structure, the tuned lens translator and limitations of the raw logit lens.

Kapcsolódó útmutató utakLogit objektív és hangolt objektív
kérdés 1 -ból 8

Mit csinál a logit objektív?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mit csinál a logit objektív?
    • Alkalmazza a modell végső feloldását a közbenső rejtett állapotokra a rétegenkénti előrejelzések olvasásához
    • Új rétegeket ad a transzformátorhoz
    • Eltávolítja a figyelmet a modellről
    • Emberi nyelvek között fordít
  2. Milyen kulcsfontosságú fejlesztést tesz a hangolt objektív a nyers logit objektívhez képest?
    • Nagyobb szókincset használ
    • Egy kis rétegenkénti affin térképet képez ki, hogy a rejtett állapotokat a végső alapra fordítsa
    • Megszünteti a beágyazás megszüntetésének szükségességét
    • Csak képmodelleken működik
  3. A transzformátorokban milyen felépítés teszi lehetővé ezeket a lencséket?
    • A konvolúciós szűrők
    • A tokenizátor
    • Az additív maradék adatfolyam, amelyet a beágyazódás megszüntetése később a logitokhoz vetít
    • Az optimalizáló tanulási sebessége
  4. Ki mutatta be az eredeti logit objektívet, és nagyjából mikor?
    • A DeepMind 2015-ben
    • OpenAI 2018-ban
    • Google 2012-ben
    • nosztalgebraista 2020-ban
  5. Hol mutatja a logit lencse gyakran a végső választ „kristályosodva”?
    • Közép-késői rétegekben
    • Csak a legelső rétegben
    • Soha, a válasz egyszerre jelenik meg
    • Teljesen a modellen kívül
  6. Miért lehet megbízhatatlan a nyers logit lencse a korai rétegekben?
    • A korai rétegekben nincsenek neuronok
    • Rejtett állapotaik még nincsenek összhangban az unembeding által elvárt végső kimeneti alappal
    • A korai rétegeket soha nem használják az előrejelzésben
    • Az unembeding mátrix véletlenszerű
  7. What does the model’s final unembedding map a residual-stream vector into?
    • A new set of transformer layers
    • A similarity graph over training examples
    • Vocabulary logits that can be converted into token probabilities
    • A gradient clipping threshold
  8. Why can an early-layer raw logit-lens prediction be misleading?
    • The layer has already generated the full answer
    • The tokenizer has been removed
    • The unembedding only works on images
    • The intermediate state may not yet be aligned with the final output basis