Maswali yanayounganishwa na mwongozo · Ngumu Kiwango

PagedAttention na Maswali ya vLLM

Jaribu vizuizi vya KV vya PagedAttention, ramani ya kimantiki hadi ya kimwili, na kushiriki, ikiwa ni pamoja na tofauti kati ya akiba ya kumbukumbu ya akiba na jumla ya hifadhi ya muundo.

Njia za mwongozo zinazohusianaPagedattention Na Vllm
Swali 1 ya 8

Je, 'Kache ya KV' huhifadhi nini wakati wa kutengeneza maandishi?

Hakiki kila swali8 maswali

Majibu na maelezo huonekana unapojibu maswali.

  1. Je, 'Kache ya KV' huhifadhi nini wakati wa kutengeneza maandishi?
    • Data ya mafunzo ya mfano
    • Kitambulisho cha kuingia kwa mtumiaji
    • Vekta muhimu na za thamani za tokeni zilizopita ili tokeni mpya ziweze kuzishughulikia
    • Nakala iliyobanwa ya uzani wa mfano
  2. Ni dhana gani ya mfumo-endeshaji iliongoza PagedAttention?
    • Vyombo vya kugawanyika kwa diski
    • Uwekaji kumbukumbu halisi
    • Ukandamizaji wa faili
    • Utabiri wa tawi la CPU
  3. Je, ni tatizo gani la mgao wa kashe wa KV wa kitamaduni ambao PagedAttention hutatua?
    • Miunganisho ya polepole ya mtandao
    • Ukosefu wa data ya mafunzo
    • Usalama dhaifu wa nenosiri
    • Upotevu wa kumbukumbu kutokana na kuhifadhi vizuizi vikubwa vinavyoungana kwa kila ombi
  4. Je, PagedAttention huruhusu matokeo mengi kushiriki kumbukumbu kwa haraka ya kawaida?
    • Mifuatano tofauti huelekeza kwenye kurasa halisi zile zile kupitia nakala-kwa-kuandika
    • Inafuta kidokezo baada ya matumizi ya kwanza
    • Huhifadhi haraka kwenye diski
    • Inarudisha kielelezo kwa kila pato
  5. VLLM na PagedAttention zilitengenezwa wapi hapo awali?
    • Maabara ya kitaaluma ya miaka ya 1990
    • UC Berkeley (iliyochapishwa 2023)
    • Timu ya uuzaji ya muuzaji maunzi
    • Jukwaa la mtandaoni lisilojulikana
  6. Ni faida gani kuu ya vitendo ya vLLM kwa mtu anayehudumia LLM?
    • Usahihi mkubwa wa muundo kwenye vigezo
    • Kuweka data kiotomatiki
    • Maunzi ya bure ya GPU
    • Utumaji wa juu zaidi na maombi zaidi kwa wakati mmoja kwa kila GPU
  7. A sequence’s logical KV block 3 resides in a different physical location. What tells PagedAttention where to read it?
    • The sequence’s block table mapping logical blocks to physical blocks
    • The model’s class-label list
    • The learning-rate scheduler
    • A requirement that every block follow block 2 contiguously
  8. A PagedAttention cache ends with a half-filled block. Which statement about memory waste is accurate?
    • Paging guarantees every allocated byte contains a token
    • The entire model must be copied for each unused slot
    • Unused slots can remain in that final block despite reduced allocation fragmentation
    • The block table cannot represent a partial sequence