แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบแคช KV

ตรวจสอบการนำแคช KV มาใช้ซ้ำในระหว่างการถอดรหัสอัตโนมัติ ความกดดันของหน่วยความจำ การแบ่งปันคำขอหลายคำขอ และการแลกเปลี่ยนการจัดสรรแบบเพจ

เส้นทางแนะนำที่เกี่ยวข้องเควีแคช
คำถาม 1 ของ 8

แคช KV เก็บอะไร?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. แคช KV เก็บอะไร?
    • เวกเตอร์คีย์และค่าที่คำนวณสำหรับโทเค็นก่อนหน้า
    • เมทริกซ์น้ำหนักเต็มของโมเดล
    • ประวัติการแชทของผู้ใช้เป็นข้อความธรรมดา
    • ความน่าจะเป็นผลลัพธ์สุดท้าย
  2. แคช KV แก้ไขปัญหาอะไรเป็นหลัก
    • ปรับปรุงไวยากรณ์ของข้อความที่สร้างขึ้น
    • หลีกเลี่ยงการคำนวณคีย์และค่าใหม่สำหรับโทเค็นก่อนหน้าทั้งหมดในทุกขั้นตอน
    • มันเพิ่มคำศัพท์ของโมเดล
    • มันเข้ารหัสการสนทนา
  3. ข้อเสียเปรียบหลักของแคช KV คืออะไร?
    • มันทำให้รุ่นช้าลง
    • จะลดคุณภาพผลผลิต
    • การใช้หน่วยความจำจะเพิ่มขึ้นเป็นเส้นตรงตามความยาวของบริบท
    • มันใช้งานได้กับซีพียูเท่านั้น
  4. เทคนิคใดลดขนาดแคช KV โดยการแชร์คีย์และค่าระหว่าง Attention Heads
    • การออกกลางคัน
    • ค้นหาบีม
    • โทเค็น
    • ความสนใจของแบบสอบถามแบบกลุ่มหรือหลายแบบสอบถาม
  5. การอนุมานหม้อแปลงสองเฟสสัมพันธ์กับแคช KV คืออะไร
    • กรอกล่วงหน้า (ประมวลผลพร้อมท์) และถอดรหัส (สร้างโทเค็นทีละรายการ)
    • การฝึกอบรมและการทดสอบ
    • เข้ารหัสและบีบอัด
    • อัพโหลดและดาวน์โหลด
  6. PagedAttention ของ vLLM ทำอะไรกับแคช KV
    • ลบแคชหลังจากแต่ละโทเค็น
    • จัดสรรแคชในบล็อกที่ไม่ต่อเนื่องกันเพื่อลดการกระจายตัวของหน่วยความจำ
    • แปลงแคชเป็นข้อความ
    • เพิ่มจำนวนพารามิเตอร์ของโมเดลเป็นสองเท่า
  7. Why can KV-cache memory limit how many requests a GPU serves concurrently?
    • The cache stores all training examples on the GPU
    • Each request creates a new model copy
    • Each active sequence retains key and value tensors that grow with its generated context
    • The cache stores only final text on disk
  8. What is one benefit of sharing KV-cache blocks among requests with a common prefix?
    • It makes unrelated prefixes identical
    • It removes the need to compute attention
    • It guarantees lower latency in every workload
    • It can avoid storing duplicate prefix state and reduce memory use