Útmutatóhoz kapcsolódó kvíz · Kemény Szint
YaRN és kontextushossz-kiterjesztés kvíz
Checks how YaRN adjusts RoPE frequencies, preserves local detail, scales attention temperature and extends context with fine-tuning.
kérdés 1 -ból 8
Milyen pozíciókódolási módszert módosít a YaRN a kontextus kiterjesztése érdekében?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Milyen pozíciókódolási módszert módosít a YaRN a kontextus kiterjesztése érdekében?
- Forgópozíciós beágyazások (kötél)
- Abszolút szinuszos beágyazások
- Megtanult helyzetmeghatározó táblázatokat
- Csak relatív torzítási mátrixok
- Mi történik rosszul, ha egy kötélmodell a képzési hosszánál hosszabb sorozatokat lát?
- A tokenizátor összeomlik
- Az elforgatási szögek láthatatlan tartományokba lépnek, és a teljesítmény összeomlik
- A modell csak nullákat ad ki
- A színátmenetek pontosan egyekké válnak
- Hogyan kezeli a YaRN a különböző RoPE frekvencia dimenziókat?
- Minden dimenziót egyformán interpolál
- Törli a nagyfrekvenciás dimenziókat
- Az alacsony frekvenciájú dimenziókat interpolálja, miközben nagyrészt megőrzi a magas frekvenciákat
- Minden dimenziót véletlenszerűvé tesz
- A frekvenciák átméretezésén kívül milyen extra beállítást alkalmaz a YaRN?
- Új tokenizátor
- A rétegek számának megkétszerezése
- Réteg normalizálás eltávolítása
- Figyelemfelkeltő hőmérséklet (softmax skálázás) beállítás
- Mi a YaRN legfontosabb gyakorlati előnye a naiv interpolációval szemben?
- Hosszú környezetet ér el sokkal kevesebb finomhangolási adattal és lépéssel
- Egyáltalán nem kell hozzá modell
- Csak 512 token alatt működik
- Kiküszöböli a GPU-k szükségességét
- Miért káros az összes kötélfrekvencia naiv lineáris interpolációja?
- Ez csak a torzítási feltételeket érinti
- A helyi részleteket kódoló nagyfrekvenciás méreteket tömöríti
- Ez nagyobbá teszi a modellt
- Megváltoztatja a szókincs méretét
- In RoPE, which vectors receive position-dependent rotations?
- Only the value vectors
- Only the model’s token IDs
- The query and key vectors
- The optimizer’s gradient and momentum
- What does YaRN’s attention-temperature adjustment address when context length is extended?
- The number of GPU layers
- The dimensions of the token vocabulary
- The weight decay coefficient
- Changes in attention entropy or softmax sharpness caused by the longer context