LegközelebbKövetkező útmutató
Pozícióinterpoláció a kontextuskiterjesztéshez
Nyelvi AI
Műszaki ÚTMUTATÓ
A pozícióinterpoláció (PI) egy egyszerű, hatásos technika, amely kiterjeszti a Transformer környezeti ablakát azáltal, hogy új pozícióindexeket szorít be a modell által már ismert tartományba.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
A nem látható pozíciókra való extrapolálás helyett a betanított pozíciókon belül interpolál, és csak rövid finomhangolást igényel.
A Meta kutatók (Chen et al.) által 2023-ban bevezetett Positional Interpolation megoldást arra a ténnyel foglalkozik, hogy a kötéllel ellátott modellek katasztrofálisan meghibásodnak, ha az edzésen túli pozíciókra extrapolálnak. A betekintés ellentmondásos: ahelyett, hogy a modellt arra kérné, hogy kezeljen nagyobb pozícióértékeket, amelyeket még soha nem látott, a PI elosztja a bejövő pozícióindexeket egy léptéktényezővel, így például a 8K-os célhossz visszakerül az eredeti 2K-tartományba. Mivel a modellt erre a tartományra képezték ki, a forgatások az eloszláson belül maradnak. Mindössze 1000 finomhangolási lépés után az így kibővített LLaMA modell akár 32 ezer kontextust is kezelt. A tanulmány kimutatta, hogy az extrapoláció óriási értékekre képes felrobbantani a figyelempontszámokat, míg az interpoláció korlátosan és stabilan tartja azokat, ezért az interpoláció sokkal jobban működik, mint az extrapoláció.
A 2K-kontextusú LLaMA modell kiterjesztése 8K-32K tokenek kezelésére körülbelül 1000 finomhangolási lépéssel
Meglévő csevegési modell adaptálása a hosszú dokumentumok összefoglalására anélkül, hogy a semmiből kellene újraképzést végezni
Koncepcionális alapként szolgál, amelyen az NTK-tudatos skálázás és a YaRN javít
Hosszú kontextusú kód- vagy jogi dokumentumok elemzésének engedélyezése az eredetileg rövid ablakokkal betanított modelleken
A pozícióinterpoláció a nyomon követési hullám alapja lett, beleértve az NTK-tudatos skálázást és a YaRN-t, amelyek szelektívebben interpolálnak a helyi részletek megőrzése érdekében. A pálya olyan módszerek felé irányul, amelyek alig vagy egyáltalán nem igényelnek finomhangolást, és a hosszú kontextus kezelésének előképzéssé való átültetése felé. A PI továbbra is értékes kiindulási alap, és gyakran kombinálják újabb frekvencia-tudatos sémákkal, hogy hatékonyan elérjék a 128 000 plusz kontextusablakokat.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A pozícióinterpoláció (PI) egy egyszerű, hatásos technika, amely kiterjeszti a Transformer környezeti ablakát azáltal, hogy új pozícióindexeket szorít be a modell által már ismert tartományba. A nem látható pozíciókra való extrapolálás helyett a betanított pozíciókon belül interpolál, és csak rövid finomhangolást igényel.
A PI elosztja a pozícióindexeket egy léptéktényezővel, így a hosszabb sorozatok visszaképeződnek a betanított pozíciótartományba, így a forgások eloszlásban maradnak.
A PI-dokumentum kimutatta, hogy a láthatatlan nagy pozíciók nagyságrendekkel nagyobb figyelempontokat eredményezhetnek, mint az edzés, destabilizálva a softmax-ot.
A lap arról számolt be, hogy körülbelül 1000 finomhangolási lépés elég volt ahhoz, hogy a környezetet 32 000 tokenre bővítsék.
A PI átskálázza az m pozíciót m/s-ra, és az új nagyobb tartományt az eredeti betanított tartományba tömöríti.
A PI biztonságos megközelítésként az interpolációt állapította meg; Az NTK-tudatos skálázás és a YaRN a frekvenciák szelektívebb interpolálásával finomította.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Pozícióinterpoláció a kontextuskiterjesztéshez
Nyelvi AI