Kuis terkait panduan · Sedang Tingkat

Kuis Cache KV

Tinjau penggunaan kembali cache KV selama decoding autoregresif, tekanan memori, pembagian multi-permintaan, dan pengorbanan alokasi halaman.

Jalur panduan terkaitKv cache
Pertanyaan 1 dari 8

Apa yang disimpan oleh cache KV?

Pratinjau setiap pertanyaan8 pertanyaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

  1. Apa yang disimpan oleh cache KV?
    • Vektor kunci dan nilai dihitung untuk token sebelumnya
    • Matriks bobot penuh model
    • Riwayat obrolan pengguna sebagai teks biasa
    • Probabilitas keluaran akhir
  2. Masalah apa yang terutama dipecahkan oleh cache KV?
    • Ini meningkatkan tata bahasa teks yang dihasilkan
    • Ini menghindari penghitungan ulang kunci dan nilai untuk semua token sebelumnya di setiap langkah
    • Ini meningkatkan kosakata model
    • Itu mengenkripsi percakapan
  3. Apa kelemahan utama dari cache KV?
    • Itu membuat generasi menjadi lebih lambat
    • Ini mengurangi kualitas keluaran
    • Penggunaan memorinya tumbuh secara linear seiring dengan panjangnya konteks
    • Ini hanya berfungsi pada CPU
  4. Teknik manakah yang mengurangi ukuran cache KV dengan berbagi kunci dan nilai di seluruh kepala perhatian?
    • Putus sekolah
    • Pencarian balok
    • Tokenisasi
    • Perhatian kueri yang dikelompokkan atau multikueri
  5. Apa dua fase inferensi transformator relatif terhadap cache KV?
    • Pra-isi (proses prompt) dan dekode (hasilkan satu token dalam satu waktu)
    • Pelatihan dan pengujian
    • Enkode dan kompres
    • Unggah dan unduh
  6. Apa yang dilakukan PagedAttention vLLM untuk cache KV?
    • Menghapus cache setelah setiap token
    • Mengalokasikan cache di blok yang tidak bersebelahan untuk mengurangi fragmentasi memori
    • Mengubah cache menjadi teks
    • Menggandakan jumlah parameter model
  7. Why can KV-cache memory limit how many requests a GPU serves concurrently?
    • The cache stores all training examples on the GPU
    • Each request creates a new model copy
    • Each active sequence retains key and value tensors that grow with its generated context
    • The cache stores only final text on disk
  8. What is one benefit of sharing KV-cache blocks among requests with a common prefix?
    • It makes unrelated prefixes identical
    • It removes the need to compute attention
    • It guarantees lower latency in every workload
    • It can avoid storing duplicate prefix state and reduce memory use