Imudara Kaṣe KV
Kaṣe KV n tọju awọn bọtini ati iye ti oluyipada kan ti ṣe iṣiro tẹlẹ nitorina ko tun ṣiṣẹ fun gbogbo ami tuntun - ṣugbọn o le balloon si gigabytes.
Akopọ
Iṣapeye kaṣe KV dinku ati ṣakoso iranti yẹn nitorinaa awọn awoṣe sin awọn ipo gigun si awọn olumulo diẹ sii ni ẹẹkan.
Jin Dive
Ninu oluyipada kan, ami tuntun kọọkan wa si gbogbo awọn ami ami iṣaaju nipasẹ awọn bọtini akiyesi (K) ati awọn iye (V). Iṣirohin K ati V fun gbogbo ọkọọkan ni gbogbo igbesẹ yoo jẹ kuadiratiki ati apanirun, nitorinaa awọn awoṣe ṣe kaṣe wọn: kaṣe KV naa. Isalẹ jẹ iwọn. Kaṣe naa dagba ni laini pẹlu gigun lẹsẹsẹ, iwọn ipele, awọn fẹlẹfẹlẹ, ati awọn ori, nitorinaa ibeere ọrọ-gun le jẹ iranti GPU diẹ sii ju awọn iwuwo awoṣe funrararẹ. Iṣapeye koju eyi lati awọn igun pupọ: iranti oju-iwe (vLLM's PagedAttention) tọju kaṣe ni awọn bulọọki ti kii ṣe contiguous lati yọkuro pipin ati mu pinpin ṣiṣẹ; titobi awọn ile itaja K ati V ni 8-bit tabi 4-bit; ati awọn iyipada ti ayaworan bi Ifarabalẹ-Ibeere Ẹgbẹ (GQA) ati Ifarabalẹ Ibeere pupọ (MQA) jẹ ki ọpọlọpọ awọn olori ibeere pin diẹ bọtini / awọn ori iye, gige iwọn kaṣe ni orisun.
Imọ-imọ-ẹrọ
PagedAttention yawo foju-iranti paging lati awọn ọna šiše: kaṣe n gbe ni awọn bulọọki iwọn ti o wa titi ti a ya aworan nipasẹ tabili wiwa, nitorinaa awọn ibeere lo awọn bulọọki ti wọn nilo nikan ati awọn ami-iṣaaju kanna (bii ọna eto pinpin) le tọka si awọn bulọọki kanna. Olona-ori wiwaba akiyesi (MLA), ti a lo ninu DeepSeek si dede, compress K ati V sinu kan kekere pin wiwaba fekito, bosipo gige iranti nigba ti fifi išedede.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ojo iwaju ti KV Cache Iṣapeye
Bi awọn window ti o tọ ti na si awọn ọgọọgọrun egbegberun tabi awọn miliọnu awọn ami-ami, kaṣe KV di idiyele ti o ga julọ ti iṣẹ. Reti funmorawon kaṣe ibinu ati itusilẹ (sisọ awọn ami akiyesi kekere silẹ), pinpin ibeere ibeere agbelebu bi aiyipada, gbigbe kaṣe tutu si Sipiyu tabi NVMe, ati awọn faaji bii MLA ati GQA di boṣewa. Ṣiṣakoso kaṣe yoo pọ si ni afiwe awọn ilana iranti ni kikun pẹlu awọn ipele ati iṣaju ọlọgbọn.
Real-World imuse
Ifarabalẹ vLLM ti n ṣiṣẹ ọpọlọpọ awọn akoko iwiregbe nigbakanna nipa iṣakojọpọ awọn bulọọki KV laisi pipin iranti
Ifarabalẹ-Ibeere akojọpọ ni awọn awoṣe Llama ti o dinku iwọn kaṣe KV nitoribẹẹ awọn ipo to gun ni ibamu si iranti GPU
Didiwọn kaṣe KV si 8-bit (KV8) lati dinku iranti kaṣe ni aijọju lakoko akopọ iwe-gigun
Iṣaju iṣaju ti o tun lo awọn bulọọki KV ti itọsi eto pinpin kọja ẹgbẹẹgbẹrun awọn ibeere API
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the KV Cache Optimization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Kaṣe KV
Awọn ibeere ti a beere nigbagbogbo
Kini KV Cache Optimization?
Kaṣe KV n tọju awọn bọtini ati iye ti oluyipada kan ti ṣe iṣiro tẹlẹ nitorina ko tun ṣiṣẹ fun gbogbo ami tuntun - ṣugbọn o le balloon si gigabytes. Imudara kaṣe KV dinku ati ṣakoso iranti yẹn ki awọn awoṣe ṣe iranṣẹ awọn ipo gigun si awọn olumulo diẹ sii ni ẹẹkan.
Kini ibi ipamọ KV ati kilode?
Awọn bọtini caching ati awọn iye lati awọn ami ami iṣaaju yago fun atunṣe iṣiro akiyesi lori gbogbo ami tuntun, fifipamọ akoko.
Kini idi ti kaṣe KV le di iṣoro iranti?
Awọn iwọn iwọn kaṣe pẹlu ipari ọrọ-ọrọ ati ibaramu, nitorinaa awọn ibeere gigun le lo awọn oye pupọ ti iranti GPU.
Ero-ero ẹrọ ṣiṣe wo ni PagedAttention yawo?
Paged Ifarabalẹ tọju kaṣe naa sinu awọn bulọọki iwọn ti o wa titi ti kii-contiguous ti a ya aworan nipasẹ tabili kan, gẹgẹ bi paging OS.
Bawo ni Ibeere Ikojọpọ ati Ifarabalẹ Ọpọ-Ibeere ṣe dinku iwọn kaṣe KV?
Pínpín bọtini/awọn olori iye kọja awọn ori ibeere pupọ tumọ si diẹ diẹ K ati awọn fekito V lati fipamọ.
Kini anfani kan ti pinpin iṣaaju ninu kaṣe KV?
Itọkasi eto pinpin ṣe agbejade awọn titẹ sii KV kanna, nitorinaa awọn ibeere lọpọlọpọ le tọka si awọn bulọọki kanna dipo ṣiṣe ẹda wọn.