คู่มือทางเทคนิค
PagedAttention และ vLLM
PagedAttention manages transformer key/value caches using fixed-size blocks mapped from logical token positions.
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
บนหน้านี้อ่าน 2 นาที
ภาพรวม
This reduces cache-allocation waste and supports sharing, while vLLM’s actual throughput depends on the workload and system.
เจาะลึก
เมื่อโมเดลภาษาสร้างข้อความ โมเดลจะเก็บ 'แคช KV' (เวกเตอร์คีย์และค่า) ไว้สำหรับโทเค็นทุกอันที่เห็น เพื่อให้โทเค็นถัดไปสามารถเข้าร่วมกับบริบททั้งหมดได้ ตามเนื้อผ้า แต่ละคำขอจะสงวนแผ่นหน่วยความจำ GPU ขนาดใหญ่ที่ต่อเนื่องกันหนึ่งแผ่นซึ่งมีขนาดตามความยาวสูงสุดที่เป็นไปได้ ซึ่งจะสิ้นเปลืองจำนวนมากเมื่อลำดับสั้นลงหรือมีความยาวต่างกัน PagedAttention ซึ่งเปิดตัวในรายงาน vLLM ปี 2023 จาก UC Berkeley ยืมแนวคิดเกี่ยวกับเพจหน่วยความจำเสมือนจากระบบปฏิบัติการ โดยจะแยกแคช KV ออกเป็นบล็อกขนาดคงที่ซึ่งสามารถอยู่ที่ใดก็ได้ในหน่วยความจำและจัดสรรได้ตามความต้องการ ตารางการค้นหาจะแมปตำแหน่งโทเค็นเชิงตรรกะกับบล็อกทางกายภาพ ซึ่งเกือบจะกำจัดการกระจายตัวของหน่วยความจำและอนุญาตให้ใช้บล็อกร่วมกัน เช่น ในหลายเอาต์พุตจากพร้อมท์เดียวกัน
การใช้งานจริงในโลกแห่งความเป็นจริง
การโฮสต์ LLM API แบบโอเพ่นซอร์สโดยที่ vLLM ให้บริการผู้ใช้แชทพร้อมกันจำนวนมากจาก GPU ตัวเดียวที่มีปริมาณงานสูง
การแบ่งปันพร้อมท์ของระบบแบบยาวกับคำขอนับพันผ่านการแคชคำนำหน้า ดังนั้นจึงได้รับการประมวลผลเพียงครั้งเดียว ไม่ใช่ซ้ำๆ
เรียกใช้การค้นหาบีมหรือการสุ่มตัวอย่างหลายรายการที่แชร์บล็อก KV สำหรับพรอมต์ทั่วไปผ่านการคัดลอกเมื่อเขียน
ลดการสิ้นเปลืองหน่วยความจำ GPU จากการแตกแฟรกเมนต์ เพื่อให้ผู้ให้บริการสามารถแพ็คเซสชันพร้อมกันมากขึ้นไปยังฮาร์ดแวร์เดียวกัน
อนาคตของ PagedAttention และ vLLM
vLLM ได้กลายเป็นแกนหลักการอนุมานแบบโอเพ่นซอร์สเริ่มต้น และตอนนี้แนวคิดของ PagedAttention ก็ปรากฏในสแต็กที่ให้บริการส่วนใหญ่แล้ว คาดหวังการแคชคำนำหน้าที่ลึกยิ่งขึ้น (การนำระบบแคชมาใช้ซ้ำกับผู้ใช้) การกรอกข้อมูลล่วงหน้าแบบแยกส่วนและถอดรหัสบนเครื่องที่แยกจากกัน นโยบายการกำจัดที่ชาญฉลาดยิ่งขึ้น และการบูรณาการอย่างแน่นหนากับการกำหนดปริมาณและการถอดรหัสเชิงคาดเดา เมื่อหน้าต่างบริบทเติบโตขึ้นเป็นโทเค็นนับล้าน การจัดการเพจ KV ที่มีประสิทธิภาพจึงกลายเป็นศูนย์กลางมากขึ้นในการให้บริการในราคาที่ย่อมเยา
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
- การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
- การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต
ระวัง
- การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
- ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
- ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น
ขั้นตอนต่อไป
- กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
- เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
- การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
- เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
Take the PagedAttention and vLLM quiz
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
What is PagedAttention and vLLM?
PagedAttention manages transformer key/value caches using fixed-size blocks mapped from logical token positions. This reduces cache-allocation waste and supports sharing, while vLLM’s actual throughput depends on the workload and system.
'KV cache' จัดเก็บอะไรระหว่างการสร้างข้อความ
แคช KV เก็บเวกเตอร์คีย์และค่าไว้สำหรับโทเค็นก่อนหน้าทั้งหมด ทำให้โมเดลเข้าถึงบริบททั้งหมดโดยไม่ต้องคำนวณใหม่ในแต่ละขั้นตอน
แนวคิดระบบปฏิบัติการใดเป็นแรงบันดาลใจให้ PagedAttention
PagedAttention ยืมเพจหน่วยความจำเสมือน: แคช KV จะถูกแบ่งออกเป็นเพจขนาดคงที่ซึ่งสามารถอยู่ได้ทุกที่ โดยแมปโดยตารางบล็อก
PagedAttention แก้ปัญหาอะไรกับการจัดสรรแคช KV แบบดั้งเดิม
การจองแผ่นที่ต่อเนื่องกันขนาดใหญ่หนึ่งแผ่นต่อคำขอ ซึ่งมีขนาดตามความยาวสูงสุด จะทำให้สูญเสียหน่วยความจำ GPU จำนวนมาก เพจจิ้งจัดสรรบล็อกขนาดเล็กตามความต้องการ ช่วยลดการสูญเสีย
PagedAttention อนุญาตให้หลายเอาต์พุตแชร์หน่วยความจำสำหรับพรอมต์ทั่วไปได้อย่างไร
คำนำหน้าเหมือนกัน (พรอมต์ที่ใช้ร่วมกันหรือสาขาการค้นหาลำแสง) อ้างอิงถึงหน้า KV ทางกายภาพเดียวกัน โดยคัดลอกเฉพาะเมื่อสาขาแยกจากกัน
vLLM และ PagedAttention พัฒนามาจากที่ใด
vLLM และอัลกอริธึม PagedAttention ออกมาจาก UC Berkeley ในรายงานปี 2023 และกลายเป็นกลไกการให้บริการโอเพ่นซอร์สที่ใช้กันอย่างแพร่หลายอย่างรวดเร็ว
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้