แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบการเพิ่มประสิทธิภาพแคช KV
ตรวจสอบการเติบโตของแคช KV, การจัดสรรเพจ, การแชร์แบบสอบถามแบบกลุ่ม, เงื่อนไขการใช้คำนำหน้าซ้ำ, การหาปริมาณ และการขยายขนาดหน่วยความจำด้วยบริบทและการทำงานพร้อมกัน
คำถาม 1 ของ 8
แคช KV เก็บอะไรและเพราะเหตุใด
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- แคช KV เก็บอะไรและเพราะเหตุใด
- คีย์ความสนใจและค่าที่คำนวณไว้ก่อนหน้านี้ ดังนั้นจึงไม่ต้องคำนวณใหม่ในแต่ละขั้นตอน
- ข้อมูลการฝึกของโมเดลสำหรับการฝึกขึ้นใหม่
- รหัสผ่านผู้ใช้สำหรับการตรวจสอบสิทธิ์
- เอาต์พุตข้อความสุดท้ายเท่านั้น
- เหตุใดแคช KV จึงกลายเป็นปัญหาหน่วยความจำได้
- มันทำให้ GPU เสียหายอย่างถาวร
- โดยจะขยายตามความยาวลำดับ ขนาดแบทช์ และเลเยอร์ ซึ่งบางครั้งก็เกินน้ำหนักของโมเดล
- ใช้ได้กับข้อความที่สั้นกว่า 10 คำเท่านั้น
- มันทำซ้ำระบบปฏิบัติการ
- PagedAttention ยืมแนวคิดระบบปฏิบัติการใดมา
- ยูทิลิตี้การจัดเรียงข้อมูลบนดิสก์
- การสแกนไวรัส
- การเพจหน่วยความจำเสมือนพร้อมบล็อกขนาดคงที่
- การปรับขนาดความละเอียดหน้าจอ
- Grouped-Query และ Multi-Query Attention ลดขนาดแคช KV ได้อย่างไร
- โดยการลบกลไกความสนใจออก
- โดยเก็บแคชไว้เป็นรูปภาพ
- โดยการฝึกอบรมโดยใช้ข้อมูลน้อย
- โดยปล่อยให้ส่วนหัวของแบบสอบถามจำนวนมากแบ่งปันส่วนหัวของคีย์/ค่าน้อยลง
- ประโยชน์อย่างหนึ่งของการแบ่งปันคำนำหน้าในแคช KV คืออะไร
- คำขอที่มีพร้อมท์เริ่มต้นเดียวกันสามารถนำบล็อกแคชเดียวกันกลับมาใช้ใหม่ได้
- มันเข้ารหัสโมเดล
- มันทำให้ทุกคำขอช้าลงอย่างเท่าเทียมกัน
- มันขจัดความต้องการความสนใจ
- Compared with storing the same KV entries in 16-bit, what does 8-bit storage do to raw cache-value bytes?
- It doubles the raw bytes
- It roughly halves the raw bytes, before metadata and other runtime memory
- It removes the key and value tensors entirely
- It guarantees twice the inference speed
- With full-context attention, no prefix sharing, and a fixed model and cache dtype, what happens if sequence length and batch size both double?
- It stays constant because model weights are fixed
- It roughly doubles
- Raw KV storage grows to roughly four times its previous size
- It becomes one quarter as large
- What must generally match for two requests to reuse the same cached prefix blocks?
- Only the user account name
- The requests must have different model weights
- The prompts must have the same character count but different tokens
- Their tokenized prefix and relevant model/cache configuration must be compatible