Kvíz spojený s průvodcem · Střední úroveň
Logit Lens a Tuned Lens Quiz
Kontroluje odečty mezivrstvy, strukturu zbytkového proudu, vyladěný překladač čoček a omezení surové logitové čočky.
Otázka 1 z 8
Co dělá čočka logit?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co dělá čočka logit?
- Použije konečné zrušení vložení modelu na přechodné skryté stavy, aby bylo možné číst předpovědi na vrstvu
- Přidá do transformátoru nové vrstvy
- Odvádí pozornost od modelu
- Překládá mezi lidskými jazyky
- Jaké klíčové vylepšení přináší vyladěný objektiv oproti surovému logitovému objektivu?
- Používá větší slovní zásobu
- Trénuje malou afinní mapu pro jednotlivé vrstvy, aby převedla skryté stavy do konečného základu
- Odstraňuje potřebu jakéhokoli vyjímání
- Funguje pouze na obrazových modelech
- Jaká struktura v transformátorech umožňuje tyto čočky?
- Konvoluční filtry
- Tokenizer
- Aditivní zbytkový proud, který zrušení vložení později promítne do logitů
- Rychlost učení optimalizátoru
- Kdo představil původní objektiv logit a kdy zhruba?
- DeepMind v roce 2015
- OpenAI v roce 2018
- Google v roce 2012
- Nostalgebraist v roce 2020
- Kde logit čočka často ukazuje konečnou odpověď „krystalizace“?
- Ve středních až pozdních vrstvách
- Pouze v první vrstvě
- Nikdy, odpověď se objeví najednou
- Úplně mimo model
- Proč může být surová logitová čočka v raných vrstvách nespolehlivá?
- Rané vrstvy nemají neurony
- Jejich skryté stavy ještě nejsou v souladu s konečnou výstupní základnou, kterou unembedding očekává
- Rané vrstvy se v predikci nikdy nepoužívají
- Matice pro zrušení vkládání je náhodná
- What does the model’s final unembedding map a residual-stream vector into?
- A new set of transformer layers
- A similarity graph over training examples
- Vocabulary logits that can be converted into token probabilities
- A gradient clipping threshold
- Why can an early-layer raw logit-lens prediction be misleading?
- The layer has already generated the full answer
- The tokenizer has been removed
- The unembedding only works on images
- The intermediate state may not yet be aligned with the final output basis