LegközelebbKövetkező útmutató
Pozícióinterpoláció a kontextuskiterjesztéshez
Nyelvi AI
Műszaki ÚTMUTATÓ
A YaRN (Yet another RoPE extensionN) egy hatékony technika a modell használható környezeti ablakának kiterjesztésére, messze túlmutatva azon, amire a modellt betanították.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Ügyesen átméretezi a forgópozíciós beágyazásokat, így egy mondjuk 4K tokenre kiképzett modell minimális finomhangolással képes kezelni a 32K-t vagy még többet is.
A legtöbb modern LLM a token pozíciókat RoPE-vel (Rotary Position Embeddings) kódolja, amely pozícióhoz kötött szögekkel forgatja el a lekérdezést és a kulcsvektorokat. Ha az edzési hossznál hosszabb sorozatokat adagol, ezek a forgatások nem látható tartományokba lépnek, és a modell összeomlik. A Bowen Peng és munkatársai által 2023-ban bevezetett YaRN ezt a frekvenciánként alkalmazott NTK-tudatos interpolációval javítja: a nagyfrekvenciás dimenziókat (amelyek rögzítik a lokális, rövid hatótávolságú kapcsolatokat) többnyire érintetlenül hagyja, míg az alacsony frekvenciájú dimenziókat (amelyek nagy hatótávolságú pozíciót követnek) interpolálnak. A YaRN hőmérséklet-beállítást is hozzáad a figyelemhez, hogy ellensúlyozza a hosszabb összefüggésekből származó entrópiaváltozásokat. Az eredmény erős hosszú távú teljesítmény, miután a naiv megközelítésekhez szükséges adatoknak és lépéseknek csak egy apró töredékén finomhangolták.
A nyílt 4K-kontextusú modell kiterjesztése 32K-ra vagy 128K-ra a hosszú dokumentumokra vonatkozó kérdések megválaszolásához rövid finomhangolással
Lehetővé teszi a visszakereséssel kiegészített rendszerek számára, hogy csonkítás nélkül lenyeljenek sok összefűzött szakaszt
Működtető kódsegédek, amelyeknek egy teljes nagy tárolófájlra vagy több fájlra van szükségük egyetlen promptban
Alapmodell adaptálása hosszú, többfordulós beszélgetésekhez, amelyek nagy csevegési előzményeket halmoznak fel
A kontextusbővítés ma már bevett gyakorlat: a nyílt modellek rutinszerűen szállítanak YaRN-bővített változatokat, amelyek elérik a 128 000 tokent. A kutatás olyan módszerek felé halad, amelyek nulla vagy nullához közeli finomhangolással kiterjesztik a kontextust, kombinálják a RoPE átskálázást a figyelemminta trükkjeivel, és a minőséget a teljes ablakban fenntartják, nem csak a végein. Várható, hogy ezek a technikák szorosabban integrálódjanak az előképzésbe, így a kontextus natív, nem pedig utólagos.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A YaRN (Yet another RoPE extensionN) egy hatékony technika a modell használható környezeti ablakának kiterjesztésére, messze túlmutatva azon, amire a modellt betanították. Ügyesen átméretezi a forgópozíciós beágyazásokat, így egy mondjuk 4K tokenre kiképzett modell minimális finomhangolással képes kezelni a 32K-t vagy még többet is.
A YaRN, amelynek neve azt jelenti, még egy kötélkiterjesztésN, átskálázza a legtöbb modern LLM-ben használt forgóhelyzetű beágyazást.
Az edzésen túli pozíciók olyan elfordulási szögeket eredményeznek, amelyeket a modell soha nem látott, így a figyelem viselkedése élesen romlik.
A YaRN egy NTK-by-parts rámpát használ, amely interpolálja a hosszú hullámhosszú, alacsony frekvenciájú tompításokat, és a rövid hatótávolságú, nagyfrekvenciás tompításokat többnyire érintetlenül hagyja.
A YaRN hőmérséklet-skálázást ad a figyelem logikához, hogy ellensúlyozza a kontextus növekedésével fellépő entrópiaeltolódásokat.
A YaRN a naiv módszerek által igényelt adatok egy kis részének finomhangolása után erős, hosszú kontextusú minőséget ér el.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Pozícióinterpoláció a kontextuskiterjesztéshez
Nyelvi AI