Kuiz berkaitan panduan · Sederhana Tahap

Kuiz Cache KV

Semak penggunaan semula KV-cache semasa penyahkodan autoregresif, tekanan memori, perkongsian berbilang permintaan dan pertukaran peruntukan halaman.

Laluan panduan yang berkaitanKv Cache
soalan 1 daripada 8

Apakah yang disimpan oleh cache KV?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Apakah yang disimpan oleh cache KV?
    • Vektor kunci dan nilai dikira untuk token sebelumnya
    • Matriks berat penuh model
    • Sejarah sembang pengguna sebagai teks biasa
    • Kebarangkalian keluaran akhir
  2. Apakah masalah yang paling utama diselesaikan oleh cache KV?
    • Ia meningkatkan tatabahasa teks yang dihasilkan
    • Ia mengelakkan pengiraan semula kunci dan nilai untuk semua token terdahulu pada setiap langkah
    • Ia meningkatkan perbendaharaan kata model
    • Ia menyulitkan perbualan
  3. Apakah kelemahan utama cache KV?
    • Ia menjadikan penjanaan lebih perlahan
    • Ia mengurangkan kualiti keluaran
    • Penggunaan ingatannya berkembang secara linear dengan panjang konteks
    • Ia hanya berfungsi pada CPU
  4. Teknik manakah yang mengurangkan saiz cache KV dengan berkongsi kunci dan nilai merentas pusat perhatian?
    • Keciciran
    • Carian rasuk
    • Tokenisasi
    • Perhatian pertanyaan berkumpulan atau berbilang pertanyaan
  5. Apakah dua fasa inferens pengubah berbanding cache KV?
    • Praisi (proses gesaan) dan nyahkod (hasilkan satu token pada satu masa)
    • Latihan dan ujian
    • Mengekod dan memampatkan
    • Muat naik dan muat turun
  6. Apakah yang dilakukan oleh PagedAttention vLLM untuk cache KV?
    • Memadamkan cache selepas setiap token
    • Memperuntukkan cache dalam blok bukan bersebelahan untuk mengurangkan pemecahan memori
    • Menukar cache kepada teks
    • Menggandakan kiraan parameter model
  7. Why can KV-cache memory limit how many requests a GPU serves concurrently?
    • The cache stores all training examples on the GPU
    • Each request creates a new model copy
    • Each active sequence retains key and value tensors that grow with its generated context
    • The cache stores only final text on disk
  8. What is one benefit of sharing KV-cache blocks among requests with a common prefix?
    • It makes unrelated prefixes identical
    • It removes the need to compute attention
    • It guarantees lower latency in every workload
    • It can avoid storing duplicate prefix state and reduce memory use