Kvíz spojený s průvodcem · Těžko úroveň
Příze a kvíz prodloužení délky kontextu
Kontroluje, jak YaRN upravuje frekvence RoPE, zachovává místní detaily, měří teplotu pozornosti a rozšiřuje kontext pomocí jemného ladění.
Otázka 1 z 8
Jakou metodu kódování pozice YaRN upravuje, aby rozšířil kontext?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jakou metodu kódování pozice YaRN upravuje, aby rozšířil kontext?
- Zabudování s otočnou polohou (RoPE)
- Absolutní sinusové uložení
- Naučil se polohové vyhledávací tabulky
- Pouze relativní matice zkreslení
- Co se pokazí, když model RoPE vidí sekvence delší, než je jeho tréninková délka?
- Tokenizer se zhroutí
- Úhly rotace vstupují do neviditelných rozsahů a výkon se zhroutí
- Model zobrazuje pouze nuly
- Přechody se stanou přesně jedním
- Jak YaRN zachází s různými rozměry frekvence RoPE?
- Interpoluje všechny dimenze stejně
- Vymaže vysokofrekvenční dimenze
- Interpoluje nízkofrekvenční rozměry a do značné míry zachovává vysokofrekvenční
- Randomizuje každou dimenzi
- Jaké další úpravy kromě přeškálování frekvencí používá YaRN?
- Nový tokenizér
- Zdvojnásobení počtu vrstev
- Odstranění normalizace vrstvy
- Nastavení teploty pozornosti (softmax scaling).
- Jaká je klíčová praktická výhoda YaRN oproti naivní interpolaci?
- Dosáhne dlouhého kontextu s mnohem méně dolaďovacími daty a kroky
- Nepotřebuje vůbec žádný model
- Funguje pouze pod 512 tokeny
- To eliminuje potřebu GPU
- Proč je naivní lineární interpolace všech frekvencí RoPE škodlivá?
- Ovlivňuje pouze podmínky zkreslení
- Komprimuje vysokofrekvenční rozměry, které kódují místní detaily
- Díky tomu je model větší
- Mění velikost slovní zásoby
- In RoPE, which vectors receive position-dependent rotations?
- Only the value vectors
- Only the model’s token IDs
- The query and key vectors
- The optimizer’s gradient and momentum
- What does YaRN’s attention-temperature adjustment address when context length is extended?
- The number of GPU layers
- The dimensions of the token vocabulary
- The weight decay coefficient
- Changes in attention entropy or softmax sharpness caused by the longer context