คู่มือทางเทคนิค
การเพิ่มประสิทธิภาพแคช KV
แคช KV จะจัดเก็บคีย์และค่าที่หม้อแปลงได้คำนวณไว้แล้ว ดังนั้นจึงไม่สามารถทำซ้ำกับโทเค็นใหม่ทุกรายการได้ แต่สามารถขยายเป็นกิกะไบต์ได้
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
บนหน้านี้อ่าน 2 นาที
ภาพรวม
KV cache optimization shrinks and manages that memory so models serve longer contexts to more users at once.
เจาะลึก
In a transformer, each new token attends to all previous tokens via attention's keys (K) and values (V). Recomputing K and V for the whole sequence at every step would be quadratic and wasteful, so models cache them: the KV cache. The downside is size. The cache grows linearly with sequence length, batch size, layers, and heads, so a long-context request can consume more GPU memory than the model weights themselves. Optimization tackles this from several angles: paged memory (vLLM's PagedAttention) stores the cache in non-contiguous blocks to reduce fragmentation and enable sharing; quantization stores K and V in 8-bit or 4-bit; and architectural changes like Grouped-Query Attention (GQA) and Multi-Query Attention (MQA) let many query heads share fewer key/value heads, slashing cache size at the source.
การใช้งานจริงในโลกแห่งความเป็นจริง
vLLM's PagedAttention serving many concurrent chat sessions by packing KV blocks while reducing memory fragmentation
Grouped-Query Attention ในโมเดล Llama ที่ลดขนาดแคช KV เพื่อให้บริบทที่ยาวขึ้นพอดีกับหน่วยความจำ GPU
การกำหนดปริมาณแคช KV เป็น 8 บิต (KV8) เพื่อลดหน่วยความจำแคชลงครึ่งหนึ่งโดยประมาณในระหว่างการสรุปเอกสารขนาดยาว
การแคชคำนำหน้าที่ใช้บล็อก KV ของพรอมต์ระบบที่ใช้ร่วมกันกับคำขอ API หลายพันรายการ
อนาคตของการเพิ่มประสิทธิภาพแคช KV
เมื่อหน้าต่างบริบทขยายออกไปเป็นโทเค็นหลายแสนหรือหลายล้านโทเค็น แคช KV จะกลายเป็นต้นทุนการให้บริการหลัก คาดว่าจะมีการบีบอัดแคชเชิงรุกและการขับไล่ (ทิ้งโทเค็นการเอาใจใส่ต่ำ), การแชร์คำนำหน้าคำขอข้ามเป็นค่าเริ่มต้น, ถ่ายโอนแคชเย็นไปยัง CPU หรือ NVMe และสถาปัตยกรรมเช่น MLA และ GQA กลายเป็นมาตรฐาน การจัดการแคชจะมีลักษณะคล้ายกับลำดับชั้นหน่วยความจำเต็มรูปแบบมากขึ้นด้วยระดับและการดึงข้อมูลล่วงหน้าแบบอัจฉริยะ
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
- การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
- การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต
ระวัง
- การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
- ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
- ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น
ขั้นตอนต่อไป
- กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
- เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
- การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
- เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
Take the KV Cache Optimization quiz
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
What is KV Cache Optimization?
แคช KV จะจัดเก็บคีย์และค่าที่หม้อแปลงได้คำนวณไว้แล้ว ดังนั้นจึงไม่สามารถทำซ้ำกับโทเค็นใหม่ทุกรายการได้ แต่สามารถขยายเป็นกิกะไบต์ได้ การเพิ่มประสิทธิภาพแคช KV ย่อขนาดและจัดการหน่วยความจำนั้น ดังนั้นโมเดลจึงให้บริการบริบทที่ยาวขึ้นแก่ผู้ใช้จำนวนมากขึ้นในคราวเดียว
แคช KV เก็บอะไรและเพราะเหตุใด
การแคชคีย์และค่าจากโทเค็นก่อนหน้าช่วยหลีกเลี่ยงการทำซ้ำการคำนวณความสนใจบนโทเค็นใหม่ทุกอัน ซึ่งช่วยประหยัดเวลา
เหตุใดแคช KV จึงกลายเป็นปัญหาหน่วยความจำได้
ขนาดแคชจะปรับขนาดตามความยาวบริบทและความสอดคล้อง ดังนั้นคำขอที่ยาวจึงสามารถใช้หน่วยความจำ GPU จำนวนมหาศาลได้
PagedAttention ยืมแนวคิดระบบปฏิบัติการใดมา
PagedAttention เก็บแคชไว้ในบล็อกขนาดคงที่ที่ไม่ต่อเนื่องกันซึ่งแมปผ่านตาราง เช่นเดียวกับการเพจ OS
Grouped-Query และ Multi-Query Attention ลดขนาดแคช KV ได้อย่างไร
การใช้ส่วนหัวของคีย์/ค่าร่วมกันในส่วนหัวของแบบสอบถามหลายรายการ ส่งผลให้มีเวกเตอร์ K และ V ที่จะจัดเก็บน้อยลงมาก
ประโยชน์อย่างหนึ่งของการแบ่งปันคำนำหน้าในแคช KV คืออะไร
พรอมต์ของระบบที่ใช้ร่วมกันจะสร้างรายการ KV ที่เหมือนกัน ดังนั้นคำขอหลายรายการจึงสามารถชี้ไปที่บล็อกเดียวกันแทนที่จะทำซ้ำได้
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้