แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

แบบทดสอบ PagedAttention และ vLLM

ทดสอบบล็อก PagedAttention KV การแมปแบบลอจิคัลถึงฟิสิคัล และการแชร์ รวมถึงความแตกต่างระหว่างการประหยัดหน่วยความจำแคชและพื้นที่จัดเก็บโมเดลทั้งหมด

เส้นทางแนะนำที่เกี่ยวข้องPagedattention และ Vllm
คำถาม 1 ของ 8

'KV cache' จัดเก็บอะไรระหว่างการสร้างข้อความ

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. 'KV cache' จัดเก็บอะไรระหว่างการสร้างข้อความ
    • ข้อมูลการฝึกของโมเดล
    • ข้อมูลรับรองการเข้าสู่ระบบของผู้ใช้
    • เวกเตอร์คีย์และค่าสำหรับโทเค็นในอดีตเพื่อให้โทเค็นใหม่สามารถเข้าร่วมได้
    • สำเนาตุ้มน้ำหนักแบบจำลองที่บีบอัด
  2. แนวคิดระบบปฏิบัติการใดเป็นแรงบันดาลใจให้ PagedAttention
    • เครื่องมือจัดเรียงข้อมูลบนดิสก์
    • การเพจหน่วยความจำเสมือน
    • การบีบอัดไฟล์
    • การทำนายสาขา CPU
  3. PagedAttention แก้ปัญหาอะไรกับการจัดสรรแคช KV แบบดั้งเดิม
    • การเชื่อมต่ออินเทอร์เน็ตช้า
    • ขาดข้อมูลการฝึกอบรม
    • ความปลอดภัยของรหัสผ่านที่อ่อนแอ
    • หน่วยความจำเสียจากการสำรองบล็อกที่ต่อเนื่องกันขนาดใหญ่สำหรับแต่ละคำขอ
  4. PagedAttention อนุญาตให้หลายเอาต์พุตแชร์หน่วยความจำสำหรับพรอมต์ทั่วไปได้อย่างไร
    • ลำดับที่ต่างกันจะชี้ไปยังเพจฟิสิคัลเดียวกันผ่านการคัดลอกเมื่อเขียน
    • มันจะลบพรอมต์หลังจากการใช้งานครั้งแรก
    • มันเก็บพรอมต์ไว้บนดิสก์
    • มันฝึกโมเดลใหม่สำหรับแต่ละเอาต์พุต
  5. vLLM และ PagedAttention พัฒนามาจากที่ใด
    • ห้องทดลองทางวิชาการในช่วงปี 1990
    • UC Berkeley (เผยแพร่ปี 2023)
    • ทีมการตลาดของผู้จำหน่ายฮาร์ดแวร์
    • ฟอรัมออนไลน์ที่ไม่ระบุชื่อ
  6. ประโยชน์เชิงปฏิบัติหลักของ vLLM สำหรับคนที่ให้บริการ LLM คืออะไร?
    • ความแม่นยำของโมเดลที่มากขึ้นในการวัดประสิทธิภาพ
    • การติดฉลากข้อมูลอัตโนมัติ
    • ฟรีฮาร์ดแวร์ GPU
    • ปริมาณงานที่สูงขึ้นและคำขอต่อ GPU พร้อมกันมากขึ้น
  7. A sequence’s logical KV block 3 resides in a different physical location. What tells PagedAttention where to read it?
    • The sequence’s block table mapping logical blocks to physical blocks
    • The model’s class-label list
    • The learning-rate scheduler
    • A requirement that every block follow block 2 contiguously
  8. A PagedAttention cache ends with a half-filled block. Which statement about memory waste is accurate?
    • Paging guarantees every allocated byte contains a token
    • The entire model must be copied for each unused slot
    • Unused slots can remain in that final block despite reduced allocation fragmentation
    • The block table cannot represent a partial sequence