Olona-Head Latent akiyesi
Ifarabalẹ Idaniloju Olona-ori (MLA) jẹ ẹrọ akiyesi, ti a ṣe sinu DeepSeek-V2, ti o rọpọ kaṣe bọtini iye bọtini iranti-ebi npa sinu fekito wiwaba pinpin kekere kan.
Akopọ
O jẹ ki awọn awoṣe ede nla ṣiṣẹ pẹlu iranti GPU ti o kere ju lakoko ti o tọju didara isunmọ si akiyesi boṣewa.
Jin Dive
Nigbati ẹrọ oluyipada kan ba n ṣe agbejade ọrọ, o tọju bọtini ati iye fekito fun gbogbo ami ti o kọja ninu ‘kaṣe KV’ kan. Kaṣe yẹn dagba pẹlu ipari ọrọ-ọrọ ati jẹ gaba lori lilo iranti lakoko itọkasi. MLA rọpo ọpọlọpọ bọtini iwọn-kikun/awọn olutọpa iye pẹlu ipo kekere-kekere kan fekito fun ami kan, lẹhinna awọn iṣẹ akanṣe ti o ṣe afẹyinti pada sinu awọn bọtini ori-kọọkan ati awọn iye lori fo. Nitoripe wiwakọ iwapọ nikan ni o wa ni ipamọ, DeepSeek-V2 royin gige iranti KV-cache nipasẹ diẹ sii ju 90% ni ilodisi akiyesi olona-ori, ti o muu awọn aaye to gun ati awọn iwọn ipele nla. Ni pataki, awọn matiriki iṣẹ akanṣe le ṣe pọ sinu awọn iwuwo miiran, nitorinaa MLA ṣaṣeyọri funmorawon pẹlu kekere tabi ko si pipadanu iwọnwọn ni didara awoṣe.
Imọ-imọ-ẹrọ
MLA n ṣe funmorawon apapọ ipo-kekere: ipo ti o farapamọ ti ami kọọkan jẹ iṣẹ akanṣe si isalẹ si fekito wiwakọ kekere kan, ati lọtọ awọn matiriki iṣẹ akanṣe tun ṣe awọn bọtini ori-kọọkan ati awọn iye. Ẹtan onilàkaye kan jẹ 'gbigba' awọn iwọn isọtẹlẹ soke sinu ibeere ati awọn asọtẹlẹ iṣelọpọ, nitorinaa awoṣe ko ṣe ohun elo awọn bọtini / iye ni kikun lakoko itọkasi. Awọn ifibọ ipo Rotari ni a mu pẹlu ọna bọtini itọpa, nitori iyipo ko le gba ni ọna kanna, titoju alaye ipo.
Ipa Ilana
Iyara ati iwọn
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
Wiwọle ati arọwọto
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
Awọn ipinnu diẹ sii
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ojo iwaju ti Olona-Ori wiwaba akiyesi
MLA ṣe iranlọwọ ṣe DeepSeek-V2 ati V3 ti ọrọ-aje lati ṣiṣẹ ni iwọn, ati pe ilana naa n tan kaakiri bi awọn ẹgbẹ ṣe lepa itọkasi ọrọ-ọrọ gigun ti o din owo. Reti funmorawon ara-ara MLA lati darapo pẹlu awọn fẹlẹfẹlẹ Iparapọ-ti-Amoye, awọn caches ti o ni iwọn, ati iyipada arosọ ni awọn awoṣe ṣiṣi iwaju. Awọn oniwadi tun n ṣawari bawo ni iwọn wiwaba le dinku ṣaaju ki didara silẹ, ati boya imọran ipo-kekere kanna le fun pọsi akiyesi lakoko ikẹkọ, kii ṣe itọkasi nikan.
Real-World imuse
Ṣiṣẹ awọn awoṣe iwiregbe DeepSeek-V2/V3 pẹlu awọn ifẹsẹtẹ iranti GPU ti o kere pupọ fun ibeere kan
Ṣiṣe awọn ibeere iwe-gigun ti n dahun nibiti kaṣe KV nla kan yoo bibẹẹkọ yọkuro VRAM
Pipọsi iwọn ipele ifọkansi lori GPU ti o wa titi nitori ọkọọkan ọkọọkan tọju fekito wiwakọ kekere kan
Muu awọn window ti o gun gun lori ohun elo eru fun awọn oluranlọwọ imupadabọ
Awọn ewu & Awọn ọna iṣọ
Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Ilana Ilana imuse
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Multi-Head Latent Attention quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Olona-Ibeere akiyesi
Awọn ibeere ti a beere nigbagbogbo
Kini Ifarabalẹ Latent Olona Ori?
Ifarabalẹ Idaniloju Olona-ori (MLA) jẹ ẹrọ akiyesi, ti a ṣe sinu DeepSeek-V2, ti o rọpọ kaṣe bọtini iye bọtini iranti-ebi npa sinu fekito wiwaba pinpin kekere kan. O jẹ ki awọn awoṣe ede nla ṣiṣẹ pẹlu iranti GPU ti o kere ju lakoko ti o tọju didara isunmọ si akiyesi boṣewa.
Kini Iṣoro akọkọ Olona-ori Ifarabalẹ Latent ti a ṣe lati dinku?
MLA fojusi kaṣe KV, eyiti o dagba pẹlu ipari ọrọ-ọrọ ati jẹ gaba lori iranti lakoko iran ọrọ.
Bawo ni MLA ṣe dinku kaṣe KV naa?
MLA ṣe ipamọ fekito wiwakọ iwapọ kan fun ami-ami ati tun ṣe awọn bọtini ati awọn iye lati ọdọ rẹ nipasẹ iṣẹ akanṣe oke.
Awoṣe wo ni akọkọ ṣe afihan Ifarabalẹ Aifọwọyi Olona-ori?
MLA ti ṣafihan nipasẹ DeepSeek ninu awoṣe DeepSeek-V2 rẹ ati gbe sinu DeepSeek-V3.
Kini idi ti MLA nilo ọna 'decoupled' lọtọ fun awọn ifibọ ipo iyipo?
Iyipada iyipo ko le fa sinu awọn matiri iwuwo iwuwo miiran, nitorinaa MLA tọju paati bọtini itusilẹ kekere lati gbe alaye ipo.
Ni aijọju melo ni idinku iranti kaṣe KV ni DeepSeek-V2 ṣe ijabọ lati ọdọ MLA dipo akiyesi akiyesi olona-ori boṣewa?
DeepSeek-V2 royin gige iranti KV-cache nipasẹ diẹ sii ju 90%, ṣiṣe awọn ipo to gun ati awọn ipele nla.