คู่มือทางเทคนิค

การเพิ่มประสิทธิภาพแคช KV

แคช KV จะจัดเก็บคีย์และค่าที่หม้อแปลงได้คำนวณไว้แล้ว ดังนั้นจึงไม่สามารถทำซ้ำกับโทเค็นใหม่ทุกรายการได้ แต่สามารถขยายเป็นกิกะไบต์ได้

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของการเพิ่มประสิทธิภาพแคช KV
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

KV cache optimization shrinks and manages that memory so models serve longer contexts to more users at once.

เจาะลึก

In a transformer, each new token attends to all previous tokens via attention's keys (K) and values (V). Recomputing K and V for the whole sequence at every step would be quadratic and wasteful, so models cache them: the KV cache. The downside is size. The cache grows linearly with sequence length, batch size, layers, and heads, so a long-context request can consume more GPU memory than the model weights themselves. Optimization tackles this from several angles: paged memory (vLLM's PagedAttention) stores the cache in non-contiguous blocks to reduce fragmentation and enable sharing; quantization stores K and V in 8-bit or 4-bit; and architectural changes like Grouped-Query Attention (GQA) and Multi-Query Attention (MQA) let many query heads share fewer key/value heads, slashing cache size at the source.

การใช้งานจริงในโลกแห่งความเป็นจริง

vLLM's PagedAttention serving many concurrent chat sessions by packing KV blocks while reducing memory fragmentation

Grouped-Query Attention ในโมเดล Llama ที่ลดขนาดแคช KV เพื่อให้บริบทที่ยาวขึ้นพอดีกับหน่วยความจำ GPU

การกำหนดปริมาณแคช KV เป็น 8 บิต (KV8) เพื่อลดหน่วยความจำแคชลงครึ่งหนึ่งโดยประมาณในระหว่างการสรุปเอกสารขนาดยาว

การแคชคำนำหน้าที่ใช้บล็อก KV ของพรอมต์ระบบที่ใช้ร่วมกันกับคำขอ API หลายพันรายการ

อนาคตของการเพิ่มประสิทธิภาพแคช KV

เมื่อหน้าต่างบริบทขยายออกไปเป็นโทเค็นหลายแสนหรือหลายล้านโทเค็น แคช KV จะกลายเป็นต้นทุนการให้บริการหลัก คาดว่าจะมีการบีบอัดแคชเชิงรุกและการขับไล่ (ทิ้งโทเค็นการเอาใจใส่ต่ำ), การแชร์คำนำหน้าคำขอข้ามเป็นค่าเริ่มต้น, ถ่ายโอนแคชเย็นไปยัง CPU หรือ NVMe และสถาปัตยกรรมเช่น MLA และ GQA กลายเป็นมาตรฐาน การจัดการแคชจะมีลักษณะคล้ายกับลำดับชั้นหน่วยความจำเต็มรูปแบบมากขึ้นด้วยระดับและการดึงข้อมูลล่วงหน้าแบบอัจฉริยะ

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
  • การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ระวัง

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

ขั้นตอนต่อไป

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the KV Cache Optimization quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

What is KV Cache Optimization?

แคช KV จะจัดเก็บคีย์และค่าที่หม้อแปลงได้คำนวณไว้แล้ว ดังนั้นจึงไม่สามารถทำซ้ำกับโทเค็นใหม่ทุกรายการได้ แต่สามารถขยายเป็นกิกะไบต์ได้ การเพิ่มประสิทธิภาพแคช KV ย่อขนาดและจัดการหน่วยความจำนั้น ดังนั้นโมเดลจึงให้บริการบริบทที่ยาวขึ้นแก่ผู้ใช้จำนวนมากขึ้นในคราวเดียว

แคช KV เก็บอะไรและเพราะเหตุใด

การแคชคีย์และค่าจากโทเค็นก่อนหน้าช่วยหลีกเลี่ยงการทำซ้ำการคำนวณความสนใจบนโทเค็นใหม่ทุกอัน ซึ่งช่วยประหยัดเวลา

เหตุใดแคช KV จึงกลายเป็นปัญหาหน่วยความจำได้

ขนาดแคชจะปรับขนาดตามความยาวบริบทและความสอดคล้อง ดังนั้นคำขอที่ยาวจึงสามารถใช้หน่วยความจำ GPU จำนวนมหาศาลได้

PagedAttention ยืมแนวคิดระบบปฏิบัติการใดมา

PagedAttention เก็บแคชไว้ในบล็อกขนาดคงที่ที่ไม่ต่อเนื่องกันซึ่งแมปผ่านตาราง เช่นเดียวกับการเพจ OS

Grouped-Query และ Multi-Query Attention ลดขนาดแคช KV ได้อย่างไร

การใช้ส่วนหัวของคีย์/ค่าร่วมกันในส่วนหัวของแบบสอบถามหลายรายการ ส่งผลให้มีเวกเตอร์ K และ V ที่จะจัดเก็บน้อยลงมาก

ประโยชน์อย่างหนึ่งของการแบ่งปันคำนำหน้าในแคช KV คืออะไร

พรอมต์ของระบบที่ใช้ร่วมกันจะสร้างรายการ KV ที่เหมือนกัน ดังนั้นคำขอหลายรายการจึงสามารถชี้ไปที่บล็อกเดียวกันแทนที่จะทำซ้ำได้

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →