Kvíz spojený s průvodcem · Střední úroveň

Poziční interpolace pro dlouhý kontextový kvíz

Kontroluje, jak polohová interpolace mění měřítko pozic RoPE, proč může extrapolace destabilizovat pozornost a co její zdroj vyhodnotil.

Otázka 1 z 8

Jaká je hlavní myšlenka poziční interpolace?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaká je hlavní myšlenka poziční interpolace?
    • Vmáčknutí nových pozičních indexů do rozsahu, na kterém byl model již trénován
    • Školení zcela nového modelu od nuly pro každou délku
    • Úplné odstranění informací o poloze
    • Řazení žetonů podle důležitosti
  2. Proč naivní extrapolace na delší pozice selhává?
    • Využívá příliš málo paměti
    • Může vyhodit skóre pozornosti na extrémně vysoké, nestabilní hodnoty
    • Vždy vrací stejný token
    • Vyžaduje to jiný tokenizér
  3. Kolik doladění zhruba vyžadovala původní práce PI pro rozšíření LLaMA na 32K?
    • Žádné jemné dolaďování
    • Asi 1 milion kroků
    • Asi 1000 kroků
    • Plný předtréninkový běh
  4. Pokud rozšíříte kontext o faktor s, jak PI transformuje pozici m?
    • Mapuje m na m krát s
    • Mapuje m na m na druhou
    • Ponechává m beze změny
    • Mapuje m až m děleno s
  5. Jak PI ovlivnil pozdější metody jako YaRN?
    • Stalo se základní linií, na které se zdokonalovaly metody využívající frekvence
    • Bylo opuštěno a nikdy nebylo citováno
    • Nahradil architekturu Transformer
    • Týká se pouze obrazových modelů
  6. Na jaké kódování pozice se poziční interpolace primárně zaměřuje?
    • One-hot kódování
    • RoPE (Rotary Position Embeddings)
    • Word2Vec vektory
    • Bag-of-words se počítá
  7. A model trained to position 2K tokens is extended to 32K using PI. What is the extension factor s?
    • 2
    • 8
    • 16
    • 32
  8. With extension factor s = 16, where does PI map original position m = 16,000?
    • Position 16,000
    • Position 256,000
    • Position 32,000
    • Position 1,000