Èdè AI Itọsọna
Kaṣe KV
Kaṣe KV n tọju bọtini ati awọn oluyipada iye ti transformer ti ṣe iṣiro tẹlẹ fun awọn ami iṣaaju, nitorinaa ko ni lati tun ṣe iṣiro wọn fun gbogbo ọrọ tuntun ti o ṣe.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
It is the single biggest reason text generation is fast — and the main thing eating your GPU memory during long conversations.
Jin Dive
Awọn ayirapada ṣe agbejade ọrọ ami kan ni akoko kan, ati pe ipele akiyesi ami tuntun kọọkan nilo lati ṣe afiwe si gbogbo ami ami iṣaaju. Ilana akiyesi yi ami-ami kọọkan pada si ibeere, bọtini, ati fekito iye. Laisi caching, ṣiṣẹda nọmba ami ami 1,000 yoo tumọ si awọn bọtini atunto ati awọn iye fun gbogbo awọn ami ami 999 iṣaaju ni gbogbo igbesẹ - kuadiratiki, iṣẹ agbin. Kaṣe KV naa ṣafipamọ bọtini wọnyẹn ati awọn olutọpa iye lẹhin ti wọn ṣe iṣiro akọkọ ati tun lo wọn, nitorinaa igbesẹ tuntun kọọkan nikan ṣe iṣiro awọn adaṣe fun ami tuntun tuntun nikan ati pe o wa lori kaṣe ti o fipamọ. Eyi dinku iye owo-ami-iwọn lati iwọn pẹlu gigun ọkọọkan si aijọju ibakan. Iṣowo-pipa jẹ iranti: kaṣe naa dagba ni laini pẹlu ipari ọrọ-ọrọ, nọmba awọn fẹlẹfẹlẹ, ati awọn ori akiyesi, nigbagbogbo di olumulo iranti ti o ga julọ ni iṣẹ-ọrọ-gun.
Real-World imuse
Yiyara awọn idahun chatbot nipa lilo awọn bọtini ti a fipamọ / awọn iye lati inu itan-akọọlẹ ibaraẹnisọrọ dipo ṣiṣatunṣe rẹ ni titan kọọkan.
Caching ìpele ti o pin kaṣe fun ọna eto gigun kọja ọpọlọpọ awọn olumulo, gige idiyele ati lairi.
Ifarabalẹ vLLM Paged ti n ṣakoso kaṣe KV ni awọn bulọọki lati ṣe iranṣẹ ọpọlọpọ awọn ibeere nigbakanna lori GPU kan daradara.
Didiwọn kaṣe KV si isunmọ konge lati baamu awọn aaye to gun sinu iranti GPU to lopin.
Ojo iwaju ti KV kaṣe
Gẹgẹbi awọn window ti o tọ si awọn ọgọọgọrun egbegberun awọn ami-ami, kaṣe KV di aarin igo, nitorinaa ĭdàsĭlẹ jẹ imuna: titobi kaṣe si awọn iwọn 8 tabi 4, awọn ilana imukuro ti o ju awọn ami pataki-kekere silẹ, pinpin-ibeere iṣaju iṣaaju, ati gbigbe si Sipiyu tabi disk. Awọn iṣiparọ ayaworan bi akiyesi wiwaba ori-pupọ pọpọ kaṣe funrararẹ. Reti ilọsiwaju-apẹrẹ iṣọpọ ti awọn iyatọ akiyesi ati awọn eto iranti ti o ni ero lati ṣiṣẹsin awọn ipo gigun pupọ ni olowo poku ati ni iṣelọpọ giga.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Iyara ati iwọn. Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
- Wiwọle ati arọwọto. O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
- Awọn ipinnu diẹ sii. Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ṣọra fun
- Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
- Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
- Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Next awọn igbesẹ
- Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
- Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
- Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
- Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the KV Cache quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
What is KV Cache?
Kaṣe KV n tọju bọtini ati awọn oluyipada iye ti transformer ti ṣe iṣiro tẹlẹ fun awọn ami iṣaaju, nitorinaa ko ni lati tun ṣe iṣiro wọn fun gbogbo ọrọ tuntun ti o ṣe. O jẹ idi ti o tobi julo ti iran ọrọ jẹ iyara - ati ohun akọkọ ti njẹ iranti GPU rẹ lakoko awọn ibaraẹnisọrọ gigun.
Kí ni KV cache fipamọ?
Kaṣe KV di bọtini ati awọn olutọpa iye lati awọn ami ami iṣaaju ki akiyesi le tun lo wọn dipo ti atunlo.
Isoro wo ni kaṣe KV ni akọkọ yanju?
The cache reuses keys and values computed for earlier tokens instead of rebuilding them at every decode step. The new query still attends over cached positions, so attention work and cache memory continue to grow with context length.
Kini akọkọ isalẹ ti kaṣe KV?
Kaṣe naa dagba pẹlu gigun lẹsẹsẹ, awọn fẹlẹfẹlẹ, ati awọn ori, nigbagbogbo di olumulo ti o ga julọ ti iranti GPU ni iṣẹ-ọrọ gigun.
Ilana wo ni o dinku iwọn kaṣe KV nipasẹ pinpin awọn bọtini ati awọn iye kọja awọn ori akiyesi?
Ibeere akojọpọ ati akiyesi ibeere pupọ jẹ ki awọn ori ibeere lọpọlọpọ pin pin diẹ bọtini/awọn eto iye, idinku kaṣe ni pataki.
Kini awọn ipele meji ti itọkasi transformer ni ibatan si kaṣe KV?
Prefill kun kaṣe pẹlu K/V kiakia; decode appends ọkan titun àmi K/V kọọkan igbese ati reatettens lori awọn kaṣe.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii