Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Pozíciós interpoláció hosszú kontextusú kvízhez
Checks how positional interpolation rescales RoPE positions, why extrapolation can destabilize attention and what its source evaluated.
kérdés 1 -ból 8
Mi a pozícióinterpoláció alapötlete?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mi a pozícióinterpoláció alapötlete?
- Új pozícióindexek beszorítása abba a tartományba, amelyre a modellt már betanították
- Vadonatúj modell betanítása a semmiből minden hosszra
- A pozícióinformációk teljes eltávolítása
- A tokenek rendezése fontosság szerint
- Miért nem sikerül a naiv extrapoláció hosszabb pozíciókra?
- Túl kevés memóriát használ
- A figyelempontszámokat rendkívül nagy, instabil értékekre tudja felrobbantani
- Mindig ugyanazt a tokent adja vissza
- Más tokenizátort igényel
- Körülbelül mennyi finomhangolást igényelt az eredeti PI-munka, hogy a LLaMA-t 32K-ra bővítsék?
- Egyáltalán nincs finomhangolás
- Körülbelül 1 millió lépés
- Körülbelül 1000 lépés
- Teljes edzés előtti futás
- Ha a kontextust kiterjeszti egy s tényezővel, hogyan alakítja át a PI egy m pozíciót?
- Leképezi m-t m-re s-re
- Leképezi m-t m-re négyzetesen
- Változatlanul hagy m
- Leképezi m-t m-re osztva s-vel
- Hogyan befolyásolta a PI a későbbi módszereket, például a YaRN-t?
- Ez lett a frekvencia-tudatos módszerek továbbfejlesztésének alapja
- Elhagyták, és soha nem hivatkoztak rá
- Ez váltotta fel a Transformer architektúrát
- Csak a képmodellekre vonatkozik
- Melyik pozíciókódolást célozza elsősorban a pozícióinterpoláció?
- One-hot kódolások
- Kötél (forgó helyzetű beágyazások)
- Word2Vec vektorok
- A zsáknyi szavak számítanak
- A model trained to position 2K tokens is extended to 32K using PI. What is the extension factor s?
- 2
- 8
- 16
- 32
- With extension factor s = 16, where does PI map original position m = 16,000?
- Position 16,000
- Position 256,000
- Position 32,000
- Position 1,000