Kuiz Pengoptimuman Cache KV

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

1. Apakah yang disimpan oleh cache KV dan mengapa?
   • Kunci perhatian dan nilai yang dikira sebelum ini supaya ia tidak dikira semula setiap langkah
   • Data latihan model untuk latihan semula
   • Kata laluan pengguna untuk pengesahan
   • Output teks akhir sahaja
2. Mengapa cache KV boleh menjadi masalah ingatan?
   • Ia merosakkan GPU secara kekal
   • Ia berkembang dengan panjang jujukan, saiz kelompok dan lapisan, kadangkala melebihi berat model
   • Ia hanya berfungsi pada teks yang lebih pendek daripada 10 perkataan
   • Ia menduplikasi sistem pengendalian
3. Apakah konsep sistem pengendalian yang dipinjam oleh PagedAttention?
   • Utiliti defragmentasi cakera
   • Pengimbasan antivirus
   • Paging memori maya dengan blok saiz tetap
   • Penskalaan resolusi skrin
4. Bagaimanakah Perhatian Berbilang Pertanyaan dan Berbilang Pertanyaan mengurangkan saiz cache KV?
   • Dengan memadamkan mekanisme perhatian
   • Dengan menyimpan cache sebagai imej
   • Dengan melatih kurang data
   • Dengan membiarkan banyak ketua pertanyaan berkongsi lebih sedikit kepala kunci/nilai
5. Apakah satu faedah perkongsian awalan dalam cache KV?
   • Permintaan dengan gesaan permulaan yang sama boleh menggunakan semula blok cache yang sama
   • Ia menyulitkan model
   • Ia memperlahankan setiap permintaan secara sama rata
   • Ia menghilangkan keperluan untuk perhatian
6. Compared with storing the same KV entries in 16-bit, what does 8-bit storage do to raw cache-value bytes?
   • It doubles the raw bytes
   • It roughly halves the raw bytes, before metadata and other runtime memory
   • It removes the key and value tensors entirely
   • It guarantees twice the inference speed
7. With full-context attention, no prefix sharing, and a fixed model and cache dtype, what happens if sequence length and batch size both double?
   • It stays constant because model weights are fixed
   • It roughly doubles
   • Raw KV storage grows to roughly four times its previous size
   • It becomes one quarter as large
8. What must generally match for two requests to reuse the same cached prefix blocks?
   • Only the user account name
   • The requests must have different model weights
   • The prompts must have the same character count but different tokens
   • Their tokenized prefix and relevant model/cache configuration must be compatible