แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบแคช KV
ตรวจสอบการนำแคช KV มาใช้ซ้ำในระหว่างการถอดรหัสอัตโนมัติ ความกดดันของหน่วยความจำ การแบ่งปันคำขอหลายคำขอ และการแลกเปลี่ยนการจัดสรรแบบเพจ
คำถาม 1 ของ 8
แคช KV เก็บอะไร?
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- แคช KV เก็บอะไร?
- เวกเตอร์คีย์และค่าที่คำนวณสำหรับโทเค็นก่อนหน้า
- เมทริกซ์น้ำหนักเต็มของโมเดล
- ประวัติการแชทของผู้ใช้เป็นข้อความธรรมดา
- ความน่าจะเป็นผลลัพธ์สุดท้าย
- แคช KV แก้ไขปัญหาอะไรเป็นหลัก
- ปรับปรุงไวยากรณ์ของข้อความที่สร้างขึ้น
- หลีกเลี่ยงการคำนวณคีย์และค่าใหม่สำหรับโทเค็นก่อนหน้าทั้งหมดในทุกขั้นตอน
- มันเพิ่มคำศัพท์ของโมเดล
- มันเข้ารหัสการสนทนา
- ข้อเสียเปรียบหลักของแคช KV คืออะไร?
- มันทำให้รุ่นช้าลง
- จะลดคุณภาพผลผลิต
- การใช้หน่วยความจำจะเพิ่มขึ้นเป็นเส้นตรงตามความยาวของบริบท
- มันใช้งานได้กับซีพียูเท่านั้น
- เทคนิคใดลดขนาดแคช KV โดยการแชร์คีย์และค่าระหว่าง Attention Heads
- การออกกลางคัน
- ค้นหาบีม
- โทเค็น
- ความสนใจของแบบสอบถามแบบกลุ่มหรือหลายแบบสอบถาม
- การอนุมานหม้อแปลงสองเฟสสัมพันธ์กับแคช KV คืออะไร
- กรอกล่วงหน้า (ประมวลผลพร้อมท์) และถอดรหัส (สร้างโทเค็นทีละรายการ)
- การฝึกอบรมและการทดสอบ
- เข้ารหัสและบีบอัด
- อัพโหลดและดาวน์โหลด
- PagedAttention ของ vLLM ทำอะไรกับแคช KV
- ลบแคชหลังจากแต่ละโทเค็น
- จัดสรรแคชในบล็อกที่ไม่ต่อเนื่องกันเพื่อลดการกระจายตัวของหน่วยความจำ
- แปลงแคชเป็นข้อความ
- เพิ่มจำนวนพารามิเตอร์ของโมเดลเป็นสองเท่า
- Why can KV-cache memory limit how many requests a GPU serves concurrently?
- The cache stores all training examples on the GPU
- Each request creates a new model copy
- Each active sequence retains key and value tensors that grow with its generated context
- The cache stores only final text on disk
- What is one benefit of sharing KV-cache blocks among requests with a common prefix?
- It makes unrelated prefixes identical
- It removes the need to compute attention
- It guarantees lower latency in every workload
- It can avoid storing duplicate prefix state and reduce memory use