LegközelebbKövetkező útmutató
Csoportos lekérdezés Figyelem
Nyelvi AI
Nyelvi AI ÚTMUTATÓ
A Multi-Query Attention (MQA) a transzformátor figyelem memóriakímélő csavarja, amely egyetlen kulcs- és értékkészleten osztozik az összes figyelemfejen.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Drámaian felgyorsítja a szöveggenerálást azáltal, hogy lecsökkenti a memóriát, amelyet a modellnek meg kell kevernie.
A standard többfejes figyelem minden fejnek saját lekérdezést, kulcsot és értékprojekciót biztosít. A generálás során az összes múltbeli token kulcsát és értékét minden lépésben gyorsítótárba kell helyezni és újra kell tölteni – ez a KV gyorsítótár lesz a fő szűk keresztmetszet, mivel a memóriából való kiolvasása lassabb, mint maga a matematika. A Noam Shazeer által 2019-ben javasolt Multi-Query Attention fejenként külön lekérdezési előrejelzéseket tart, de a kulcsokat és az értékeket egyetlen megosztott fejlé teszi össze. Ez a KV-gyorsítótárat a fejek számával megegyező tényezővel csökkenti, néha 8-64-szer kisebb. Az eredmény sokkal gyorsabb autoregresszív dekódolás és kisebb memóriaterület, csak szerény minőségi csökkenés mellett. A középút, a csoportos lekérdezés figyelem egyensúlyba hozza a kompromisszumot.
A tokenről token generálás felgyorsítása a csevegési asszisztensekben, ahol a KV gyorsítótár, nem pedig a nyers számítás korlátozza az átviteli sebességet.
Google PaLM-je, amely a többlekérdezés-figyelmet használta a hatékony nagyszabású következtetések lehetővé tételére.
Sok egyidejű felhasználó kiszolgálása egyetlen GPU-n a kérésenkénti KV gyorsítótár szűkítésével.
Grouped-Query Attention a Llama 2 70B-ben és a Llama 3-ban, egy közvetlen leszármazott, amely egyensúlyban tartja az MQA sebességét a teljes figyelem minőségével.
Az MQA megállapította, hogy a redundáns kulcs-/értékfejeket csekély károsodás nélkül le lehet vágni, és ez a betekintés mostanra szinte minden gyors következtetés LLM-et alakít. A terület nagyrészt a Grouped-Query Attention (GQA) felé közeledett, amelyet a Llama 2/3-ban és sok másban használnak, és amely egy helyett néhány KV-csoportot használ a minőség helyreállítására, miközben megtartja a gyorsulás nagy részét. A jövőbeni munka ezeket az ötleteket ötvözi a KV-gyorsítótár-tömörítéssel, kvantálással és több látens figyelemel, hogy hosszabb kontextusokat és olcsóbb kiszolgálást biztosítson.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A Multi-Query Attention (MQA) a transzformátor figyelem memóriakímélő csavarja, amely egyetlen kulcs- és értékkészleten osztozik az összes figyelemfejen. Drámaian felgyorsítja a szöveggenerálást azáltal, hogy lecsökkenti a memóriát, amelyet a modellnek meg kell kevernie.
Az MQA fejenként külön lekérdezést tart, de egy kulcs- és egy értékprojekciót oszt meg az összes fejen.
A nagy KV gyorsítótár újratöltése minden lépés sávszélességhez kötött; Az MQA csökkenti a gyorsítótárat a dekódolás felgyorsítása érdekében.
Mivel a kulcsok és értékek a H-fejekből eggyel zsugorodnak, a gyorsítótár hozzávetőlegesen a fejek számával csökken.
A kulcsok és értékek megosztása enyhén csökkenti a reprezentációs kapacitást, ami kismértékű minőségromlást okoz nagy sebességnövekedésért cserébe.
A Grouped-Query Attention (GQA) több KV csoportot használ egy helyett, egyensúlyban tartva a minőséget és a sebességet.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Csoportos lekérdezés Figyelem
Nyelvi AI