Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Pozíciós interpoláció hosszú kontextusú kvízhez

Checks how positional interpolation rescales RoPE positions, why extrapolation can destabilize attention and what its source evaluated.

kérdés 1 -ból 8

Mi a pozícióinterpoláció alapötlete?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mi a pozícióinterpoláció alapötlete?
    • Új pozícióindexek beszorítása abba a tartományba, amelyre a modellt már betanították
    • Vadonatúj modell betanítása a semmiből minden hosszra
    • A pozícióinformációk teljes eltávolítása
    • A tokenek rendezése fontosság szerint
  2. Miért nem sikerül a naiv extrapoláció hosszabb pozíciókra?
    • Túl kevés memóriát használ
    • A figyelempontszámokat rendkívül nagy, instabil értékekre tudja felrobbantani
    • Mindig ugyanazt a tokent adja vissza
    • Más tokenizátort igényel
  3. Körülbelül mennyi finomhangolást igényelt az eredeti PI-munka, hogy a LLaMA-t 32K-ra bővítsék?
    • Egyáltalán nincs finomhangolás
    • Körülbelül 1 millió lépés
    • Körülbelül 1000 lépés
    • Teljes edzés előtti futás
  4. Ha a kontextust kiterjeszti egy s tényezővel, hogyan alakítja át a PI egy m pozíciót?
    • Leképezi m-t m-re s-re
    • Leképezi m-t m-re négyzetesen
    • Változatlanul hagy m
    • Leképezi m-t m-re osztva s-vel
  5. Hogyan befolyásolta a PI a későbbi módszereket, például a YaRN-t?
    • Ez lett a frekvencia-tudatos módszerek továbbfejlesztésének alapja
    • Elhagyták, és soha nem hivatkoztak rá
    • Ez váltotta fel a Transformer architektúrát
    • Csak a képmodellekre vonatkozik
  6. Melyik pozíciókódolást célozza elsősorban a pozícióinterpoláció?
    • One-hot kódolások
    • Kötél (forgó helyzetű beágyazások)
    • Word2Vec vektorok
    • A zsáknyi szavak számítanak
  7. A model trained to position 2K tokens is extended to 32K using PI. What is the extension factor s?
    • 2
    • 8
    • 16
    • 32
  8. With extension factor s = 16, where does PI map original position m = 16,000?
    • Position 16,000
    • Position 256,000
    • Position 32,000
    • Position 1,000