Kvíz spojený s průvodcem · Střední úroveň

Logit Lens a Tuned Lens Quiz

Kontroluje odečty mezivrstvy, strukturu zbytkového proudu, vyladěný překladač čoček a omezení surové logitové čočky.

Související vodicí cestyObjektiv Logit a vyladěný objektiv
Otázka 1 z 8

Co dělá čočka logit?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co dělá čočka logit?
    • Použije konečné zrušení vložení modelu na přechodné skryté stavy, aby bylo možné číst předpovědi na vrstvu
    • Přidá do transformátoru nové vrstvy
    • Odvádí pozornost od modelu
    • Překládá mezi lidskými jazyky
  2. Jaké klíčové vylepšení přináší vyladěný objektiv oproti surovému logitovému objektivu?
    • Používá větší slovní zásobu
    • Trénuje malou afinní mapu pro jednotlivé vrstvy, aby převedla skryté stavy do konečného základu
    • Odstraňuje potřebu jakéhokoli vyjímání
    • Funguje pouze na obrazových modelech
  3. Jaká struktura v transformátorech umožňuje tyto čočky?
    • Konvoluční filtry
    • Tokenizer
    • Aditivní zbytkový proud, který zrušení vložení později promítne do logitů
    • Rychlost učení optimalizátoru
  4. Kdo představil původní objektiv logit a kdy zhruba?
    • DeepMind v roce 2015
    • OpenAI v roce 2018
    • Google v roce 2012
    • Nostalgebraist v roce 2020
  5. Kde logit čočka často ukazuje konečnou odpověď „krystalizace“?
    • Ve středních až pozdních vrstvách
    • Pouze v první vrstvě
    • Nikdy, odpověď se objeví najednou
    • Úplně mimo model
  6. Proč může být surová logitová čočka v raných vrstvách nespolehlivá?
    • Rané vrstvy nemají neurony
    • Jejich skryté stavy ještě nejsou v souladu s konečnou výstupní základnou, kterou unembedding očekává
    • Rané vrstvy se v predikci nikdy nepoužívají
    • Matice pro zrušení vkládání je náhodná
  7. What does the model’s final unembedding map a residual-stream vector into?
    • A new set of transformer layers
    • A similarity graph over training examples
    • Vocabulary logits that can be converted into token probabilities
    • A gradient clipping threshold
  8. Why can an early-layer raw logit-lens prediction be misleading?
    • The layer has already generated the full answer
    • The tokenizer has been removed
    • The unembedding only works on images
    • The intermediate state may not yet be aligned with the final output basis