แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
แบบทดสอบ PagedAttention และ vLLM
ทดสอบบล็อก PagedAttention KV การแมปแบบลอจิคัลถึงฟิสิคัล และการแชร์ รวมถึงความแตกต่างระหว่างการประหยัดหน่วยความจำแคชและพื้นที่จัดเก็บโมเดลทั้งหมด
คำถาม 1 ของ 8
'KV cache' จัดเก็บอะไรระหว่างการสร้างข้อความ
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- 'KV cache' จัดเก็บอะไรระหว่างการสร้างข้อความ
- ข้อมูลการฝึกของโมเดล
- ข้อมูลรับรองการเข้าสู่ระบบของผู้ใช้
- เวกเตอร์คีย์และค่าสำหรับโทเค็นในอดีตเพื่อให้โทเค็นใหม่สามารถเข้าร่วมได้
- สำเนาตุ้มน้ำหนักแบบจำลองที่บีบอัด
- แนวคิดระบบปฏิบัติการใดเป็นแรงบันดาลใจให้ PagedAttention
- เครื่องมือจัดเรียงข้อมูลบนดิสก์
- การเพจหน่วยความจำเสมือน
- การบีบอัดไฟล์
- การทำนายสาขา CPU
- PagedAttention แก้ปัญหาอะไรกับการจัดสรรแคช KV แบบดั้งเดิม
- การเชื่อมต่ออินเทอร์เน็ตช้า
- ขาดข้อมูลการฝึกอบรม
- ความปลอดภัยของรหัสผ่านที่อ่อนแอ
- หน่วยความจำเสียจากการสำรองบล็อกที่ต่อเนื่องกันขนาดใหญ่สำหรับแต่ละคำขอ
- PagedAttention อนุญาตให้หลายเอาต์พุตแชร์หน่วยความจำสำหรับพรอมต์ทั่วไปได้อย่างไร
- ลำดับที่ต่างกันจะชี้ไปยังเพจฟิสิคัลเดียวกันผ่านการคัดลอกเมื่อเขียน
- มันจะลบพรอมต์หลังจากการใช้งานครั้งแรก
- มันเก็บพรอมต์ไว้บนดิสก์
- มันฝึกโมเดลใหม่สำหรับแต่ละเอาต์พุต
- vLLM และ PagedAttention พัฒนามาจากที่ใด
- ห้องทดลองทางวิชาการในช่วงปี 1990
- UC Berkeley (เผยแพร่ปี 2023)
- ทีมการตลาดของผู้จำหน่ายฮาร์ดแวร์
- ฟอรัมออนไลน์ที่ไม่ระบุชื่อ
- ประโยชน์เชิงปฏิบัติหลักของ vLLM สำหรับคนที่ให้บริการ LLM คืออะไร?
- ความแม่นยำของโมเดลที่มากขึ้นในการวัดประสิทธิภาพ
- การติดฉลากข้อมูลอัตโนมัติ
- ฟรีฮาร์ดแวร์ GPU
- ปริมาณงานที่สูงขึ้นและคำขอต่อ GPU พร้อมกันมากขึ้น
- A sequence’s logical KV block 3 resides in a different physical location. What tells PagedAttention where to read it?
- The sequence’s block table mapping logical blocks to physical blocks
- The model’s class-label list
- The learning-rate scheduler
- A requirement that every block follow block 2 contiguously
- A PagedAttention cache ends with a half-filled block. Which statement about memory waste is accurate?
- Paging guarantees every allocated byte contains a token
- The entire model must be copied for each unused slot
- Unused slots can remain in that final block despite reduced allocation fragmentation
- The block table cannot represent a partial sequence