Kvíz spojený s průvodcem · Těžko úroveň

Příze a kvíz prodloužení délky kontextu

Kontroluje, jak YaRN upravuje frekvence RoPE, zachovává místní detaily, měří teplotu pozornosti a rozšiřuje kontext pomocí jemného ladění.

Otázka 1 z 8

Jakou metodu kódování pozice YaRN upravuje, aby rozšířil kontext?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jakou metodu kódování pozice YaRN upravuje, aby rozšířil kontext?
    • Zabudování s otočnou polohou (RoPE)
    • Absolutní sinusové uložení
    • Naučil se polohové vyhledávací tabulky
    • Pouze relativní matice zkreslení
  2. Co se pokazí, když model RoPE vidí sekvence delší, než je jeho tréninková délka?
    • Tokenizer se zhroutí
    • Úhly rotace vstupují do neviditelných rozsahů a výkon se zhroutí
    • Model zobrazuje pouze nuly
    • Přechody se stanou přesně jedním
  3. Jak YaRN zachází s různými rozměry frekvence RoPE?
    • Interpoluje všechny dimenze stejně
    • Vymaže vysokofrekvenční dimenze
    • Interpoluje nízkofrekvenční rozměry a do značné míry zachovává vysokofrekvenční
    • Randomizuje každou dimenzi
  4. Jaké další úpravy kromě přeškálování frekvencí používá YaRN?
    • Nový tokenizér
    • Zdvojnásobení počtu vrstev
    • Odstranění normalizace vrstvy
    • Nastavení teploty pozornosti (softmax scaling).
  5. Jaká je klíčová praktická výhoda YaRN oproti naivní interpolaci?
    • Dosáhne dlouhého kontextu s mnohem méně dolaďovacími daty a kroky
    • Nepotřebuje vůbec žádný model
    • Funguje pouze pod 512 tokeny
    • To eliminuje potřebu GPU
  6. Proč je naivní lineární interpolace všech frekvencí RoPE škodlivá?
    • Ovlivňuje pouze podmínky zkreslení
    • Komprimuje vysokofrekvenční rozměry, které kódují místní detaily
    • Díky tomu je model větší
    • Mění velikost slovní zásoby
  7. In RoPE, which vectors receive position-dependent rotations?
    • Only the value vectors
    • Only the model’s token IDs
    • The query and key vectors
    • The optimizer’s gradient and momentum
  8. What does YaRN’s attention-temperature adjustment address when context length is extended?
    • The number of GPU layers
    • The dimensions of the token vocabulary
    • The weight decay coefficient
    • Changes in attention entropy or softmax sharpness caused by the longer context