Műszaki ÚTMUTATÓ

Pozicionális interpoláció hosszú kontextushoz

A pozícióinterpoláció (PI) egy egyszerű, hatásos technika, amely kiterjeszti a Transformer környezeti ablakát azáltal, hogy új pozícióindexeket szorít be a modell által már ismert tartományba.

Hallgassa meg ezt az útmutatótAI-narrált · ~2 min

Ezen az oldalon2 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A hosszú kontextus helyzeti interpolációjának jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

A nem látható pozíciókra való extrapolálás helyett a betanított pozíciókon belül interpolál, és csak rövid finomhangolást igényel.

Mély merülés

A Meta kutatók (Chen et al.) által 2023-ban bevezetett Positional Interpolation megoldást arra a ténnyel foglalkozik, hogy a kötéllel ellátott modellek katasztrofálisan meghibásodnak, ha az edzésen túli pozíciókra extrapolálnak. A betekintés ellentmondásos: ahelyett, hogy a modellt arra kérné, hogy kezeljen nagyobb pozícióértékeket, amelyeket még soha nem látott, a PI elosztja a bejövő pozícióindexeket egy léptéktényezővel, így például a 8K-os célhossz visszakerül az eredeti 2K-tartományba. Mivel a modellt erre a tartományra képezték ki, a forgatások az eloszláson belül maradnak. Mindössze 1000 finomhangolási lépés után az így kibővített LLaMA modell akár 32 ezer kontextust is kezelt. A tanulmány kimutatta, hogy az extrapoláció óriási értékekre képes felrobbantani a figyelempontszámokat, míg az interpoláció korlátosan és stabilan tartja azokat, ezért az interpoláció sokkal jobban működik, mint az extrapoláció.

Valós megvalósítás

A 2K-kontextusú LLaMA modell kiterjesztése 8K-32K tokenek kezelésére körülbelül 1000 finomhangolási lépéssel

Meglévő csevegési modell adaptálása a hosszú dokumentumok összefoglalására anélkül, hogy a semmiből kellene újraképzést végezni

Koncepcionális alapként szolgál, amelyen az NTK-tudatos skálázás és a YaRN javít

Hosszú kontextusú kód- vagy jogi dokumentumok elemzésének engedélyezése az eredetileg rövid ablakokkal betanított modelleken

A hosszú kontextus helyzeti interpolációjának jövője

A pozícióinterpoláció a nyomon követési hullám alapja lett, beleértve az NTK-tudatos skálázást és a YaRN-t, amelyek szelektívebben interpolálnak a helyi részletek megőrzése érdekében. A pálya olyan módszerek felé irányul, amelyek alig vagy egyáltalán nem igényelnek finomhangolást, és a hosszú kontextus kezelésének előképzéssé való átültetése felé. A PI továbbra is értékes kiindulási alap, és gyakran kombinálják újabb frekvencia-tudatos sémákkal, hogy hatékonyan elérjék a 128 000 plusz kontextusablakokat.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Positional Interpolation for Long Context quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a pozícióinterpoláció hosszú kontextushoz?

A pozícióinterpoláció (PI) egy egyszerű, hatásos technika, amely kiterjeszti a Transformer környezeti ablakát azáltal, hogy új pozícióindexeket szorít be a modell által már ismert tartományba. A nem látható pozíciókra való extrapolálás helyett a betanított pozíciókon belül interpolál, és csak rövid finomhangolást igényel.

Mi a pozícióinterpoláció alapötlete?

A PI elosztja a pozícióindexeket egy léptéktényezővel, így a hosszabb sorozatok visszaképeződnek a betanított pozíciótartományba, így a forgások eloszlásban maradnak.

Miért nem sikerül a naiv extrapoláció hosszabb pozíciókra?

A PI-dokumentum kimutatta, hogy a láthatatlan nagy pozíciók nagyságrendekkel nagyobb figyelempontokat eredményezhetnek, mint az edzés, destabilizálva a softmax-ot.

Körülbelül mennyi finomhangolást igényelt az eredeti PI-munka, hogy a LLaMA-t 32K-ra bővítsék?

A lap arról számolt be, hogy körülbelül 1000 finomhangolási lépés elég volt ahhoz, hogy a környezetet 32 ​​000 tokenre bővítsék.

Ha a kontextust kiterjeszti egy s tényezővel, hogyan alakítja át a PI egy m pozíciót?

A PI átskálázza az m pozíciót m/s-ra, és az új nagyobb tartományt az eredeti betanított tartományba tömöríti.

Hogyan befolyásolta a PI a későbbi módszereket, például a YaRN-t?

A PI biztonságos megközelítésként az interpolációt állapította meg; Az NTK-tudatos skálázás és a YaRN a frekvenciák szelektívebb interpolálásával finomította.