LegközelebbKövetkező útmutató
Lineáris figyelem és előadó kernelek
Műszaki
Nyelvi AI ÚTMUTATÓ
Az RWKV egy olyan architektúra, amely úgy képződik, mint egy transzformátor, de a következtetéseket úgy futtatja, mint egy visszatérő hálózat, lineáris idejű, állandó memória generálást biztosítva.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Átfogalmazza a figyelmet, így nincs másodlagos költség és nem növekszik a kulcsérték gyorsítótár.
Az RWKV (ejtsd: „RwaKuv”) a Receptance, Weight, Key, Value, négy alapvető eleme. Nagyrészt nyitott, közösségvezérelt projektként jött létre Bo Peng vezetésével. A cél a Transformers párhuzamos betaníthatóságának megőrzése, miközben kiküszöböljük költséges következtetéseiket. A Standard figyelem kulcsérték-gyorsítótárat tárol, amely minden tokennel növekszik, és minden új tokent összehasonlít az összes korábbi tokennel. Az RWKV ehelyett egy kis fix méretű rejtett állapotot visz előre, frissítve azt egy időcsökkentő szabállyal, így a régebbi információk simán elhalványulnak. Edzés közben párhuzamosítható formában tekerhető; a generálás során RNN-ként működik, állandó költségek mellett egy-egy tokent állítva elő. Ez vonzóvá teszi a hosszú kontextusok és az erőforrás-korlátozott telepítések számára.
Képes nyílt forráskódú csevegési modellek futtatása CPU-kon vagy alacsony memóriájú eszközökön, tokenenként állandó memóriával
Streaming szöveggenerálás, ahol a tokeneket egyenként állítják elő a gyorsítótár növekedése nélkül
Hosszú ideig tartó dokumentumfeldolgozás, ahol a Transformer kulcsérték-gyorsítótára rendkívül nagy lenne
Közösségi és többnyelvű modellprojektek, amelyek hatékony, nyíltan licencelt architektúrát igényelnek
Az RWKV gyorsan iterálta a verziókat (v4, v5 Eagle, v6 Finch és azon túl), csökkentve a minőségi különbségeket a Transformers segítségével, miközben megtartotta a lineáris költségeket. Folyamatos növekedés várható a nyílt többnyelvű modellek, az éles és CPU-telepítések terén, ahol az állandó memória számít, valamint a hibrid kialakítások terén. Teljesen visszatérő következtetése miatt erős jelölt streaming alkalmazásokhoz és nagyon hosszú környezetekhez, ahol a kulcsérték gyorsítótárak egyébként felrobbannának.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Az RWKV egy olyan architektúra, amely úgy képződik, mint egy transzformátor, de a következtetéseket úgy futtatja, mint egy visszatérő hálózat, lineáris idejű, állandó memória generálást biztosítva. Átfogalmazza a figyelmet, így nincs másodlagos költség és nem növekszik a kulcsérték gyorsítótár.
Az RWKV tervezési célja a párhuzamos Transformer-stílusú képzés, amely ismétlődő, állandó költségkövetkeztetéssel kombinálva.
Az RWKV négy összetevőjéről kapta a nevét: Fogadás, Súly, Kulcs és Érték.
Az RNN-hez hasonlóan az RWKV is minden lépésben frissít egy rögzített méretű állapotot, így a memória nem növekszik a sorozat hosszával.
A betanult csatornánkénti csillapítási súly határozza meg, hogy az elmúlt billentyűk milyen gyorsan fakulnak el futó állapotban.
Az ismétlődés használatával az RWKV megkerüli, hogy minden tokent összehasonlít minden más tokennel, eltávolítva a négyzetes költséget.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Lineáris figyelem és előadó kernelek
Műszaki