Kuis Optimasi Cache KV

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Apa yang disimpan oleh cache KV dan mengapa?
   • Kunci dan nilai perhatian yang telah dihitung sebelumnya sehingga tidak dihitung ulang setiap langkahnya
   • Data pelatihan model untuk pelatihan ulang
   • Kata sandi pengguna untuk otentikasi
   • Hanya keluaran teks akhir
2. Mengapa cache KV bisa menjadi masalah memori?
   • Ini merusak GPU secara permanen
   • Ia bertambah seiring dengan panjang urutan, ukuran batch, dan lapisan, terkadang melebihi bobot model
   • Ini hanya berfungsi pada teks yang kurang dari 10 kata
   • Ini menduplikasi sistem operasi
3. Konsep sistem operasi apa yang dipinjam PagedAttention?
   • Utilitas defragmentasi disk
   • Pemindaian antivirus
   • Paging memori virtual dengan blok berukuran tetap
   • Penskalaan resolusi layar
4. Bagaimana Grouped-Query dan Multi-Query Attention mengurangi ukuran cache KV?
   • Dengan menghapus mekanisme perhatian
   • Dengan menyimpan cache sebagai gambar
   • Dengan melatih lebih sedikit data
   • Dengan membiarkan banyak kepala kueri berbagi lebih sedikit kepala kunci/nilai
5. Apa salah satu manfaat berbagi awalan di cache KV?
   • Permintaan dengan perintah awal yang sama dapat menggunakan kembali blok cache yang sama
   • Ini mengenkripsi model
   • Ini memperlambat setiap permintaan secara merata
   • Ini menghilangkan kebutuhan akan perhatian
6. Compared with storing the same KV entries in 16-bit, what does 8-bit storage do to raw cache-value bytes?
   • It doubles the raw bytes
   • It roughly halves the raw bytes, before metadata and other runtime memory
   • It removes the key and value tensors entirely
   • It guarantees twice the inference speed
7. With full-context attention, no prefix sharing, and a fixed model and cache dtype, what happens if sequence length and batch size both double?
   • It stays constant because model weights are fixed
   • It roughly doubles
   • Raw KV storage grows to roughly four times its previous size
   • It becomes one quarter as large
8. What must generally match for two requests to reuse the same cached prefix blocks?
   • Only the user account name
   • The requests must have different model weights
   • The prompts must have the same character count but different tokens
   • Their tokenized prefix and relevant model/cache configuration must be compatible