Maswali yanayounganishwa na mwongozo · Kati Kiwango

Maswali ya Akiba ya KV

Pitia utumiaji upya wa KV-cache wakati wa usimbaji wa autoregressive, shinikizo la kumbukumbu, ushiriki wa maombi mengi na biashara za ugawaji wa kurasa.

Njia za mwongozo zinazohusianaKache ya Kv
Swali 1 ya 8

Kashe ya KV inahifadhi nini?

Hakiki kila swali8 maswali

Majibu na maelezo huonekana unapojibu maswali.

  1. Kashe ya KV inahifadhi nini?
    • Vekta za ufunguo na thamani zilizokokotwa kwa tokeni zilizopita
    • Matrices ya uzito kamili ya mfano
    • Historia ya mazungumzo ya mtumiaji kama maandishi wazi
    • Uwezekano wa mwisho wa matokeo
  2. Je, akiba ya KV hutatua tatizo gani kimsingi?
    • Inaboresha sarufi ya maandishi yanayotokana
    • Huepuka kuhesabu tena funguo na maadili kwa tokeni zote za awali kwa kila hatua
    • Inaongeza msamiati wa mfano
    • Inasimba mazungumzo kwa njia fiche
  3. Ni nini upande wa chini wa kashe ya KV?
    • Inafanya kizazi polepole
    • Inapunguza ubora wa pato
    • Utumiaji wa kumbukumbu yake hukua sawia na urefu wa muktadha
    • Inafanya kazi kwenye CPU pekee
  4. Ni mbinu gani inapunguza saizi ya akiba ya KV kwa kushiriki funguo na maadili kwenye vichwa vya umakini?
    • Kuacha
    • Utafutaji wa boriti
    • Uwekaji alama
    • Hoja ya vikundi au umakini wa hoja nyingi
  5. Je! ni awamu gani mbili za uelekezaji wa kibadilishaji jamaa na kashe ya KV?
    • Jaza mapema (chakata kidokezo) na usimbue (toa tokeni moja kwa wakati mmoja)
    • Mafunzo na majaribio
    • Encode na compress
    • Pakia na upakue
  6. PagedAttention ya vLLM inafanya nini kwa akiba ya KV?
    • Hufuta akiba baada ya kila ishara
    • Hutenga akiba katika vizuizi visivyoshikamana ili kupunguza mgawanyiko wa kumbukumbu
    • Hubadilisha kache kuwa maandishi
    • Huongeza hesabu ya vigezo vya muundo mara mbili
  7. Why can KV-cache memory limit how many requests a GPU serves concurrently?
    • The cache stores all training examples on the GPU
    • Each request creates a new model copy
    • Each active sequence retains key and value tensors that grow with its generated context
    • The cache stores only final text on disk
  8. What is one benefit of sharing KV-cache blocks among requests with a common prefix?
    • It makes unrelated prefixes identical
    • It removes the need to compute attention
    • It guarantees lower latency in every workload
    • It can avoid storing duplicate prefix state and reduce memory use