Kuis terkait panduan · Keras Tingkat

PagedAttention dan Kuis vLLM

Uji blok KV PagedAttention, pemetaan logis-ke-fisik, dan berbagi, termasuk perbedaan antara penghematan memori cache dan penyimpanan model total.

Jalur panduan terkaitHalaman perhatian dan Vllm
Pertanyaan 1 dari 8

Apa yang disimpan 'cache KV' selama pembuatan teks?

Pratinjau setiap pertanyaan8 pertanyaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

  1. Apa yang disimpan 'cache KV' selama pembuatan teks?
    • Data pelatihan model
    • Kredensial login pengguna
    • Vektor kunci dan nilai untuk token lama sehingga token baru dapat menanganinya
    • Salinan terkompresi dari bobot model
  2. Konsep sistem operasi apa yang menginspirasi PagedAttention?
    • Alat defragmentasi disk
    • Paging memori virtual
    • Kompresi berkas
    • Prediksi cabang CPU
  3. Masalah apa dengan alokasi cache KV tradisional yang dipecahkan oleh PagedAttention?
    • Koneksi internet lambat
    • Kurangnya data pelatihan
    • Keamanan kata sandi yang lemah
    • Memori terbuang karena memesan blok besar yang berdekatan untuk setiap permintaan
  4. Bagaimana PagedAttention membiarkan banyak output berbagi memori untuk prompt umum?
    • Urutan yang berbeda menunjuk ke halaman fisik yang sama melalui copy-on-write
    • Ini menghapus prompt setelah penggunaan pertama
    • Ini menyimpan prompt pada disk
    • Ini melatih ulang model untuk setiap keluaran
  5. Di mana vLLM dan PagedAttention awalnya dikembangkan?
    • Laboratorium akademik tahun 1990-an
    • UC Berkeley (diterbitkan 2023)
    • Tim pemasaran vendor perangkat keras
    • Forum online anonim
  6. Apa manfaat praktis utama vLLM bagi seseorang yang melayani LLM?
    • Akurasi model yang lebih besar pada benchmark
    • Pelabelan data otomatis
    • Perangkat keras GPU gratis
    • Throughput lebih tinggi dan lebih banyak permintaan serentak per GPU
  7. A sequence’s logical KV block 3 resides in a different physical location. What tells PagedAttention where to read it?
    • The sequence’s block table mapping logical blocks to physical blocks
    • The model’s class-label list
    • The learning-rate scheduler
    • A requirement that every block follow block 2 contiguously
  8. A PagedAttention cache ends with a half-filled block. Which statement about memory waste is accurate?
    • Paging guarantees every allocated byte contains a token
    • The entire model must be copied for each unused slot
    • Unused slots can remain in that final block despite reduced allocation fragmentation
    • The block table cannot represent a partial sequence