LegközelebbKövetkező útmutató
Több lekérdezés figyelem
Nyelvi AI
Nyelvi AI ÚTMUTATÓ
A Multi-Head Latent Attention (MLA) a DeepSeek-V2-ben bevezetett figyelemmechanizmus, amely a memóriaéhes kulcsérték-gyorsítótárat egy kis megosztott látens vektorba tömöríti.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Lehetővé teszi, hogy a nagy nyelvű modellek sokkal kevesebb GPU-memóriával fussanak, miközben a minőség a szokásos figyelem közelében marad.
Amikor egy transzformátor szöveget generál, minden múltbeli jogkivonathoz kulcs- és értékvektort tárol a „KV gyorsítótárban”. Ez a gyorsítótár a kontextus hosszával nő, és uralja a memóriahasználatot a következtetés során. Az MLA lecseréli a sok teljes méretű kulcs/érték vektort egyetlen alacsony rangú látens vektorra tokenenként, majd ezt a látenst menet közben visszavetíti fejenkénti kulcsokká és értékekké. Mivel csak a kompakt látens van gyorsítótárazva, a DeepSeek-V2 arról számolt be, hogy több mint 90%-kal csökkenti a KV-gyorsítótár memóriáját a hagyományos többfejes figyelemhez képest, ami hosszabb környezetet és nagyobb kötegméreteket tesz lehetővé. Lényeges, hogy a felfelé vetítési mátrixok más súlyokká hajtogathatók, így az MLA ezt a tömörítést csekély vagy semmilyen mérhető modellezési minőségromlás nélkül éri el.
DeepSeek-V2/V3 chatmodellek kiszolgálása drámaian kisebb GPU memóriaterülettel kérésenként
Hosszú dokumentumkérdés futtatása, amely megválaszolja, hogy egy nagy KV gyorsítótár egyébként hol merítené ki a VRAM-ot
Következtetési köteg méretének növelése rögzített GPU-n, mivel minden sorozat csak egy apró látens vektort tárol
Hosszabb kontextusablakok engedélyezése az árucikk hardverén a visszakereséssel kiegészített asszisztensek számára
Az MLA segített abban, hogy a DeepSeek-V2 és a V3 gazdaságos legyen a nagyméretű kiszolgáláshoz, és a technika egyre terjed, ahogy a csapatok olcsóbb, hosszú kontextusú következtetéseket kergetnek. Várható, hogy az MLA-stílusú látens tömörítés egyesülni fog a ritka Mixture-of-Experts rétegekkel, kvantált gyorsítótárral és spekulatív dekódolással a jövőbeli nyílt modellekben. A kutatók azt is vizsgálják, hogy a látens dimenzió meddig zsugorodik a minőség romlása előtt, és hogy ugyanaz az alacsony rangú ötlet összenyomhatja-e a figyelmet az edzés során, nem csak következtetéseket.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A Multi-Head Latent Attention (MLA) a DeepSeek-V2-ben bevezetett figyelemmechanizmus, amely a memóriaéhes kulcsérték-gyorsítótárat egy kis megosztott látens vektorba tömöríti. Lehetővé teszi, hogy a nagy nyelvű modellek sokkal kevesebb GPU-memóriával fussanak, miközben a minőség a szokásos figyelem közelében marad.
Az MLA a KV gyorsítótárat célozza meg, amely a környezet hosszával nő, és uralja a memóriát a szöveggenerálás során.
Az MLA tokenenként egy kompakt látens vektort gyorsítótáraz, és abból felfelé kivetítéssel rekonstruálja a kulcsokat és az értékeket.
Az MLA-t a DeepSeek vezette be a DeepSeek-V2 modelljében, és átvitte a DeepSeek-V3-ba.
A forgó transzformáció nem abszorbeálható más súlymátrixokba, így az MLA megtart egy kis leválasztott kulcskomponenst a helyzetinformáció továbbítására.
A DeepSeek-V2 arról számolt be, hogy több mint 90%-kal csökkentette a KV-cache memóriát, ami hosszabb kontextusokat és nagyobb kötegeket tesz lehetővé.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Több lekérdezés figyelem
Nyelvi AI