แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบการเพิ่มประสิทธิภาพแคช KV

ตรวจสอบการเติบโตของแคช KV, การจัดสรรเพจ, การแชร์แบบสอบถามแบบกลุ่ม, เงื่อนไขการใช้คำนำหน้าซ้ำ, การหาปริมาณ และการขยายขนาดหน่วยความจำด้วยบริบทและการทำงานพร้อมกัน

เส้นทางแนะนำที่เกี่ยวข้องการเพิ่มประสิทธิภาพแคช Kv
คำถาม 1 ของ 8

แคช KV เก็บอะไรและเพราะเหตุใด

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. แคช KV เก็บอะไรและเพราะเหตุใด
    • คีย์ความสนใจและค่าที่คำนวณไว้ก่อนหน้านี้ ดังนั้นจึงไม่ต้องคำนวณใหม่ในแต่ละขั้นตอน
    • ข้อมูลการฝึกของโมเดลสำหรับการฝึกขึ้นใหม่
    • รหัสผ่านผู้ใช้สำหรับการตรวจสอบสิทธิ์
    • เอาต์พุตข้อความสุดท้ายเท่านั้น
  2. เหตุใดแคช KV จึงกลายเป็นปัญหาหน่วยความจำได้
    • มันทำให้ GPU เสียหายอย่างถาวร
    • โดยจะขยายตามความยาวลำดับ ขนาดแบทช์ และเลเยอร์ ซึ่งบางครั้งก็เกินน้ำหนักของโมเดล
    • ใช้ได้กับข้อความที่สั้นกว่า 10 คำเท่านั้น
    • มันทำซ้ำระบบปฏิบัติการ
  3. PagedAttention ยืมแนวคิดระบบปฏิบัติการใดมา
    • ยูทิลิตี้การจัดเรียงข้อมูลบนดิสก์
    • การสแกนไวรัส
    • การเพจหน่วยความจำเสมือนพร้อมบล็อกขนาดคงที่
    • การปรับขนาดความละเอียดหน้าจอ
  4. Grouped-Query และ Multi-Query Attention ลดขนาดแคช KV ได้อย่างไร
    • โดยการลบกลไกความสนใจออก
    • โดยเก็บแคชไว้เป็นรูปภาพ
    • โดยการฝึกอบรมโดยใช้ข้อมูลน้อย
    • โดยปล่อยให้ส่วนหัวของแบบสอบถามจำนวนมากแบ่งปันส่วนหัวของคีย์/ค่าน้อยลง
  5. ประโยชน์อย่างหนึ่งของการแบ่งปันคำนำหน้าในแคช KV คืออะไร
    • คำขอที่มีพร้อมท์เริ่มต้นเดียวกันสามารถนำบล็อกแคชเดียวกันกลับมาใช้ใหม่ได้
    • มันเข้ารหัสโมเดล
    • มันทำให้ทุกคำขอช้าลงอย่างเท่าเทียมกัน
    • มันขจัดความต้องการความสนใจ
  6. Compared with storing the same KV entries in 16-bit, what does 8-bit storage do to raw cache-value bytes?
    • It doubles the raw bytes
    • It roughly halves the raw bytes, before metadata and other runtime memory
    • It removes the key and value tensors entirely
    • It guarantees twice the inference speed
  7. With full-context attention, no prefix sharing, and a fixed model and cache dtype, what happens if sequence length and batch size both double?
    • It stays constant because model weights are fixed
    • It roughly doubles
    • Raw KV storage grows to roughly four times its previous size
    • It becomes one quarter as large
  8. What must generally match for two requests to reuse the same cached prefix blocks?
    • Only the user account name
    • The requests must have different model weights
    • The prompts must have the same character count but different tokens
    • Their tokenized prefix and relevant model/cache configuration must be compatible