Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Logit Lens és Tuned Lens kvíz
Checks intermediate-layer readouts, residual-stream structure, the tuned lens translator and limitations of the raw logit lens.
kérdés 1 -ból 8
Mit csinál a logit objektív?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mit csinál a logit objektív?
- Alkalmazza a modell végső feloldását a közbenső rejtett állapotokra a rétegenkénti előrejelzések olvasásához
- Új rétegeket ad a transzformátorhoz
- Eltávolítja a figyelmet a modellről
- Emberi nyelvek között fordít
- Milyen kulcsfontosságú fejlesztést tesz a hangolt objektív a nyers logit objektívhez képest?
- Nagyobb szókincset használ
- Egy kis rétegenkénti affin térképet képez ki, hogy a rejtett állapotokat a végső alapra fordítsa
- Megszünteti a beágyazás megszüntetésének szükségességét
- Csak képmodelleken működik
- A transzformátorokban milyen felépítés teszi lehetővé ezeket a lencséket?
- A konvolúciós szűrők
- A tokenizátor
- Az additív maradék adatfolyam, amelyet a beágyazódás megszüntetése később a logitokhoz vetít
- Az optimalizáló tanulási sebessége
- Ki mutatta be az eredeti logit objektívet, és nagyjából mikor?
- A DeepMind 2015-ben
- OpenAI 2018-ban
- Google 2012-ben
- nosztalgebraista 2020-ban
- Hol mutatja a logit lencse gyakran a végső választ „kristályosodva”?
- Közép-késői rétegekben
- Csak a legelső rétegben
- Soha, a válasz egyszerre jelenik meg
- Teljesen a modellen kívül
- Miért lehet megbízhatatlan a nyers logit lencse a korai rétegekben?
- A korai rétegekben nincsenek neuronok
- Rejtett állapotaik még nincsenek összhangban az unembeding által elvárt végső kimeneti alappal
- A korai rétegeket soha nem használják az előrejelzésben
- Az unembeding mátrix véletlenszerű
- What does the model’s final unembedding map a residual-stream vector into?
- A new set of transformer layers
- A similarity graph over training examples
- Vocabulary logits that can be converted into token probabilities
- A gradient clipping threshold
- Why can an early-layer raw logit-lens prediction be misleading?
- The layer has already generated the full answer
- The tokenizer has been removed
- The unembedding only works on images
- The intermediate state may not yet be aligned with the final output basis