Kuiz berkaitan panduan · Keras Tahap

Kuiz PagedAttention dan vLLM

Ujian PagedAttention blok KV, pemetaan logik-ke-fizikal dan perkongsian, termasuk perbezaan antara penjimatan memori cache dan jumlah storan model.

Laluan panduan yang berkaitanPagedattention Dan Vllm
soalan 1 daripada 8

Apakah yang disimpan oleh 'KV cache' semasa penjanaan teks?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Apakah yang disimpan oleh 'KV cache' semasa penjanaan teks?
    • Data latihan model
    • Bukti kelayakan log masuk pengguna
    • Vektor kunci dan nilai untuk token masa lalu supaya token baharu boleh menanganinya
    • Salinan termampat berat model
  2. Apakah konsep sistem pengendalian yang mengilhamkan PagedAttention?
    • Alat defragmentasi cakera
    • Paging memori maya
    • Pemampatan fail
    • Ramalan cawangan CPU
  3. Apakah masalah dengan peruntukan cache KV tradisional yang diselesaikan oleh PagedAttention?
    • Sambungan internet perlahan
    • Kekurangan data latihan
    • Keselamatan kata laluan yang lemah
    • Sisa memori daripada menempah blok bersebelahan yang besar untuk setiap permintaan
  4. Bagaimanakah PagedAttention membenarkan berbilang output berkongsi memori untuk gesaan biasa?
    • Urutan yang berbeza menghala ke halaman fizikal yang sama melalui salin atas tulis
    • Ia memadam gesaan selepas penggunaan pertama
    • Ia menyimpan gesaan pada cakera
    • Ia melatih semula model untuk setiap output
  5. Di manakah vLLM dan PagedAttention pada asalnya dibangunkan?
    • Makmal akademik 1990-an
    • UC Berkeley (diterbitkan 2023)
    • Pasukan pemasaran vendor perkakasan
    • Forum dalam talian tanpa nama
  6. Apakah faedah praktikal utama vLLM untuk seseorang yang berkhidmat dengan LLM?
    • Ketepatan model yang lebih besar pada penanda aras
    • Pelabelan data automatik
    • Perkakasan GPU percuma
    • Daya pemprosesan yang lebih tinggi dan lebih banyak permintaan serentak bagi setiap GPU
  7. A sequence’s logical KV block 3 resides in a different physical location. What tells PagedAttention where to read it?
    • The sequence’s block table mapping logical blocks to physical blocks
    • The model’s class-label list
    • The learning-rate scheduler
    • A requirement that every block follow block 2 contiguously
  8. A PagedAttention cache ends with a half-filled block. Which statement about memory waste is accurate?
    • Paging guarantees every allocated byte contains a token
    • The entire model must be copied for each unused slot
    • Unused slots can remain in that final block despite reduced allocation fragmentation
    • The block table cannot represent a partial sequence