Kvíz spojený s průvodcem · Střední úroveň
Poziční interpolace pro dlouhý kontextový kvíz
Kontroluje, jak polohová interpolace mění měřítko pozic RoPE, proč může extrapolace destabilizovat pozornost a co její zdroj vyhodnotil.
Otázka 1 z 8
Jaká je hlavní myšlenka poziční interpolace?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaká je hlavní myšlenka poziční interpolace?
- Vmáčknutí nových pozičních indexů do rozsahu, na kterém byl model již trénován
- Školení zcela nového modelu od nuly pro každou délku
- Úplné odstranění informací o poloze
- Řazení žetonů podle důležitosti
- Proč naivní extrapolace na delší pozice selhává?
- Využívá příliš málo paměti
- Může vyhodit skóre pozornosti na extrémně vysoké, nestabilní hodnoty
- Vždy vrací stejný token
- Vyžaduje to jiný tokenizér
- Kolik doladění zhruba vyžadovala původní práce PI pro rozšíření LLaMA na 32K?
- Žádné jemné dolaďování
- Asi 1 milion kroků
- Asi 1000 kroků
- Plný předtréninkový běh
- Pokud rozšíříte kontext o faktor s, jak PI transformuje pozici m?
- Mapuje m na m krát s
- Mapuje m na m na druhou
- Ponechává m beze změny
- Mapuje m až m děleno s
- Jak PI ovlivnil pozdější metody jako YaRN?
- Stalo se základní linií, na které se zdokonalovaly metody využívající frekvence
- Bylo opuštěno a nikdy nebylo citováno
- Nahradil architekturu Transformer
- Týká se pouze obrazových modelů
- Na jaké kódování pozice se poziční interpolace primárně zaměřuje?
- One-hot kódování
- RoPE (Rotary Position Embeddings)
- Word2Vec vektory
- Bag-of-words se počítá
- A model trained to position 2K tokens is extended to 32K using PI. What is the extension factor s?
- 2
- 8
- 16
- 32
- With extension factor s = 16, where does PI map original position m = 16,000?
- Position 16,000
- Position 256,000
- Position 32,000
- Position 1,000