VolgendeVolgende gids
Aandacht voor meerdere zoekopdrachten
Taal AI
Taal AI-GIDS
Multi-Head Latent Attention (MLA) is een aandachtsmechanisme, geïntroduceerd in DeepSeek-V2, dat de geheugenvretende sleutelwaardecache comprimeert in een kleine gedeelde latente vector.
Luister naar deze gidsAI-verteld · ~2 min
Het zorgt ervoor dat grote taalmodellen met veel minder GPU-geheugen kunnen werken, terwijl de kwaliteit dicht bij de standaard blijft.
Wanneer een transformator tekst genereert, slaat deze voor elk token uit het verleden een sleutel- en waardevector op in een 'KV-cache'. Die cache groeit met de contextlengte en domineert het geheugengebruik tijdens gevolgtrekking. MLA vervangt de vele sleutel-/waardevectoren op volledige grootte door een enkele latente vector van lage rang per token, en projecteert die latente vervolgens direct in sleutels en waarden per hoofd. Omdat alleen het compacte latente in de cache wordt opgeslagen, rapporteerde DeepSeek-V2 dat het KV-cachegeheugen met meer dan 90% is verminderd ten opzichte van standaard multi-head aandacht, waardoor langere contexten en grotere batchgroottes mogelijk zijn. Cruciaal is dat de opwaartse projectiematrices in andere gewichten kunnen worden gevouwen, zodat MLA deze compressie bereikt met weinig of geen meetbaar verlies aan modelleringskwaliteit.
Biedt DeepSeek-V2/V3-chatmodellen met een aanzienlijk kleinere GPU-geheugenvoetafdruk per verzoek
Het beantwoorden van vragen over lange documenten waarbij een grote KV-cache anders VRAM zou uitputten
Het vergroten van de batchgrootte van de gevolgtrekkingen op een vaste GPU omdat elke reeks slechts een kleine latente vector opslaat
Het inschakelen van langere contextvensters op gewone hardware voor ophaalassistenten
MLA heeft ertoe bijgedragen dat DeepSeek-V2 en V3 economisch op grote schaal kunnen worden gebruikt, en de techniek verspreidt zich naarmate teams goedkopere gevolgtrekkingen uit de lange context nastreven. Verwacht dat latente compressie in MLA-stijl wordt gecombineerd met spaarzame Mixture-of-Experts-lagen, gekwantiseerde caches en speculatieve decodering in toekomstige open modellen. Onderzoekers onderzoeken ook in hoeverre de latente dimensie kan krimpen voordat de kwaliteit afneemt, en of hetzelfde laaggeplaatste idee de aandacht tijdens training kan samenpersen, en niet alleen maar gevolgtrekkingen.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Multi-Head Latent Attention (MLA) is een aandachtsmechanisme, geïntroduceerd in DeepSeek-V2, dat de geheugenvretende sleutelwaardecache comprimeert in een kleine gedeelde latente vector. Het zorgt ervoor dat grote taalmodellen met veel minder GPU-geheugen kunnen werken, terwijl de kwaliteit dicht bij de standaard blijft.
MLA richt zich op de KV-cache, die groeit met de contextlengte en het geheugen domineert tijdens het genereren van tekst.
MLA slaat één compacte latente vector per token op in de cache en reconstrueert daaruit sleutels en waarden via up-projectie.
MLA werd door DeepSeek geïntroduceerd in zijn DeepSeek-V2-model en overgenomen in DeepSeek-V3.
De roterende transformatie kan niet worden opgenomen in andere gewichtsmatrices, dus MLA behoudt een kleine ontkoppelde sleutelcomponent om positionele informatie over te dragen.
DeepSeek-V2 meldde dat het KV-cachegeheugen met meer dan 90% is teruggebracht, waardoor langere contexten en grotere batches mogelijk zijn.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Aandacht voor meerdere zoekopdrachten
Taal AI