Útmutatóhoz kapcsolódó kvíz · Kemény Szint

YaRN és kontextushossz-kiterjesztés kvíz

Checks how YaRN adjusts RoPE frequencies, preserves local detail, scales attention temperature and extends context with fine-tuning.

Kapcsolódó útmutató utakFonal és kontextushosszabbítás
kérdés 1 -ból 8

Milyen pozíciókódolási módszert módosít a YaRN a kontextus kiterjesztése érdekében?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Milyen pozíciókódolási módszert módosít a YaRN a kontextus kiterjesztése érdekében?
    • Forgópozíciós beágyazások (kötél)
    • Abszolút szinuszos beágyazások
    • Megtanult helyzetmeghatározó táblázatokat
    • Csak relatív torzítási mátrixok
  2. Mi történik rosszul, ha egy kötélmodell a képzési hosszánál hosszabb sorozatokat lát?
    • A tokenizátor összeomlik
    • Az elforgatási szögek láthatatlan tartományokba lépnek, és a teljesítmény összeomlik
    • A modell csak nullákat ad ki
    • A színátmenetek pontosan egyekké válnak
  3. Hogyan kezeli a YaRN a különböző RoPE frekvencia dimenziókat?
    • Minden dimenziót egyformán interpolál
    • Törli a nagyfrekvenciás dimenziókat
    • Az alacsony frekvenciájú dimenziókat interpolálja, miközben nagyrészt megőrzi a magas frekvenciákat
    • Minden dimenziót véletlenszerűvé tesz
  4. A frekvenciák átméretezésén kívül milyen extra beállítást alkalmaz a YaRN?
    • Új tokenizátor
    • A rétegek számának megkétszerezése
    • Réteg normalizálás eltávolítása
    • Figyelemfelkeltő hőmérséklet (softmax skálázás) beállítás
  5. Mi a YaRN legfontosabb gyakorlati előnye a naiv interpolációval szemben?
    • Hosszú környezetet ér el sokkal kevesebb finomhangolási adattal és lépéssel
    • Egyáltalán nem kell hozzá modell
    • Csak 512 token alatt működik
    • Kiküszöböli a GPU-k szükségességét
  6. Miért káros az összes kötélfrekvencia naiv lineáris interpolációja?
    • Ez csak a torzítási feltételeket érinti
    • A helyi részleteket kódoló nagyfrekvenciás méreteket tömöríti
    • Ez nagyobbá teszi a modellt
    • Megváltoztatja a szókincs méretét
  7. In RoPE, which vectors receive position-dependent rotations?
    • Only the value vectors
    • Only the model’s token IDs
    • The query and key vectors
    • The optimizer’s gradient and momentum
  8. What does YaRN’s attention-temperature adjustment address when context length is extended?
    • The number of GPU layers
    • The dimensions of the token vocabulary
    • The weight decay coefficient
    • Changes in attention entropy or softmax sharpness caused by the longer context