Kaṣe KV
Kaṣe KV n tọju bọtini ati awọn oluyipada iye ti transformer ti ṣe iṣiro tẹlẹ fun awọn ami iṣaaju, nitorinaa ko ni lati tun ṣe iṣiro wọn fun gbogbo ọrọ tuntun ti o ṣe.
Akopọ
It is the single biggest reason text generation is fast — and the main thing eating your GPU memory during long conversations.
Jin Dive
Awọn ayirapada ṣe agbejade ọrọ ami kan ni akoko kan, ati pe ipele akiyesi ami tuntun kọọkan nilo lati ṣe afiwe si gbogbo ami ami iṣaaju. Ilana akiyesi yi ami-ami kọọkan pada si ibeere, bọtini, ati fekito iye. Laisi caching, ṣiṣẹda nọmba ami ami 1,000 yoo tumọ si awọn bọtini atunto ati awọn iye fun gbogbo awọn ami ami 999 iṣaaju ni gbogbo igbesẹ - kuadiratiki, iṣẹ agbin. Kaṣe KV naa ṣafipamọ bọtini wọnyẹn ati awọn olutọpa iye lẹhin ti wọn ṣe iṣiro akọkọ ati tun lo wọn, nitorinaa igbesẹ tuntun kọọkan nikan ṣe iṣiro awọn adaṣe fun ami tuntun tuntun nikan ati pe o wa lori kaṣe ti o fipamọ. Eyi dinku iye owo-ami-iwọn lati iwọn pẹlu gigun ọkọọkan si aijọju ibakan. Iṣowo-pipa jẹ iranti: kaṣe naa dagba ni laini pẹlu ipari ọrọ-ọrọ, nọmba awọn fẹlẹfẹlẹ, ati awọn ori akiyesi, nigbagbogbo di olumulo iranti ti o ga julọ ni iṣẹ-ọrọ-gun.
Imọ-imọ-ẹrọ
Lakoko ipele 'ṣaaju' awoṣe naa ṣe ilana gbogbo itọsi ati kun kaṣe naa; lakoko 'decode' o ṣafikun K/V ami kan fun igbesẹ kan ati tun pada. Iwọn iwọn kaṣe bii 2 (K ati V) × fẹlẹfẹlẹ × awọn ori × ori_dim × ọkọọkan_ipari × ipele, ni pipe ti o yan. Lati tamu eyi, awọn awoṣe ode oni lo ibeere akojọpọ tabi ifarabalẹ ibeere pupọ lati pin awọn bọtini/awọn iye kọja awọn ori, ati awọn eto ṣiṣe bi vLLM lo PagedAttention lati pin kaṣe ni awọn bulọọki ti kii ṣe contiguous, gige pipin ati egbin.
Ipa Ilana
Iyara ati iwọn
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
Wiwọle ati arọwọto
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
Awọn ipinnu diẹ sii
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ojo iwaju ti KV kaṣe
Gẹgẹbi awọn window ti o tọ si awọn ọgọọgọrun egbegberun awọn ami-ami, kaṣe KV di aarin igo, nitorinaa ĭdàsĭlẹ jẹ imuna: titobi kaṣe si awọn iwọn 8 tabi 4, awọn ilana imukuro ti o ju awọn ami pataki-kekere silẹ, pinpin-ibeere iṣaju iṣaaju, ati gbigbe si Sipiyu tabi disk. Awọn iṣiparọ ayaworan bi akiyesi wiwaba ori-pupọ pọpọ kaṣe funrararẹ. Reti ilọsiwaju-apẹrẹ iṣọpọ ti awọn iyatọ akiyesi ati awọn eto iranti ti o ni ero lati ṣiṣẹsin awọn ipo gigun pupọ ni olowo poku ati ni iṣelọpọ giga.
Real-World imuse
Yiyara awọn idahun chatbot nipa lilo awọn bọtini ti a fipamọ / awọn iye lati inu itan-akọọlẹ ibaraẹnisọrọ dipo ṣiṣatunṣe rẹ ni titan kọọkan.
Caching ìpele ti o pin kaṣe fun ọna eto gigun kọja ọpọlọpọ awọn olumulo, gige idiyele ati lairi.
Ifarabalẹ vLLM Paged ti n ṣakoso kaṣe KV ni awọn bulọọki lati ṣe iranṣẹ ọpọlọpọ awọn ibeere nigbakanna lori GPU kan daradara.
Didiwọn kaṣe KV si isunmọ konge lati baamu awọn aaye to gun sinu iranti GPU to lopin.
Awọn ewu & Awọn ọna iṣọ
Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Ilana Ilana imuse
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the KV Cache quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Imudara Kaṣe KV
Awọn ibeere ti a beere nigbagbogbo
What is KV Cache?
Kaṣe KV n tọju bọtini ati awọn oluyipada iye ti transformer ti ṣe iṣiro tẹlẹ fun awọn ami iṣaaju, nitorinaa ko ni lati tun ṣe iṣiro wọn fun gbogbo ọrọ tuntun ti o ṣe. O jẹ idi ti o tobi julo ti iran ọrọ jẹ iyara - ati ohun akọkọ ti njẹ iranti GPU rẹ lakoko awọn ibaraẹnisọrọ gigun.
Kí ni KV cache fipamọ?
Kaṣe KV di bọtini ati awọn olutọpa iye lati awọn ami ami iṣaaju ki akiyesi le tun lo wọn dipo ti atunlo.
Isoro wo ni kaṣe KV ni akọkọ yanju?
Laisi caching, aami tuntun kọọkan yoo nilo atunlo K/V fun gbogbo ami ami iṣaaju, eyiti o jẹ apanirun; kaṣe mu ki fun-àmi iye owo aijọju ibakan.
Kini akọkọ isalẹ ti kaṣe KV?
Kaṣe naa dagba pẹlu gigun lẹsẹsẹ, awọn fẹlẹfẹlẹ, ati awọn ori, nigbagbogbo di olumulo ti o ga julọ ti iranti GPU ni iṣẹ-ọrọ gigun.
Ilana wo ni o dinku iwọn kaṣe KV nipasẹ pinpin awọn bọtini ati awọn iye kọja awọn ori akiyesi?
Ibeere akojọpọ ati akiyesi ibeere pupọ jẹ ki awọn ori ibeere lọpọlọpọ pin pin diẹ bọtini/awọn eto iye, idinku kaṣe ni pataki.
Kini awọn ipele meji ti itọkasi transformer ni ibatan si kaṣe KV?
Prefill kun kaṣe pẹlu K/V kiakia; decode appends ọkan titun àmi K/V kọọkan igbese ati reatettens lori awọn kaṣe.