คู่มือทางเทคนิค

PagedAttention และ vLLM

PagedAttention manages transformer key/value caches using fixed-size blocks mapped from logical token positions.

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของ PagedAttention และ vLLM
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

This reduces cache-allocation waste and supports sharing, while vLLM’s actual throughput depends on the workload and system.

เจาะลึก

เมื่อโมเดลภาษาสร้างข้อความ โมเดลจะเก็บ 'แคช KV' (เวกเตอร์คีย์และค่า) ไว้สำหรับโทเค็นทุกอันที่เห็น เพื่อให้โทเค็นถัดไปสามารถเข้าร่วมกับบริบททั้งหมดได้ ตามเนื้อผ้า แต่ละคำขอจะสงวนแผ่นหน่วยความจำ GPU ขนาดใหญ่ที่ต่อเนื่องกันหนึ่งแผ่นซึ่งมีขนาดตามความยาวสูงสุดที่เป็นไปได้ ซึ่งจะสิ้นเปลืองจำนวนมากเมื่อลำดับสั้นลงหรือมีความยาวต่างกัน PagedAttention ซึ่งเปิดตัวในรายงาน vLLM ปี 2023 จาก UC Berkeley ยืมแนวคิดเกี่ยวกับเพจหน่วยความจำเสมือนจากระบบปฏิบัติการ โดยจะแยกแคช KV ออกเป็นบล็อกขนาดคงที่ซึ่งสามารถอยู่ที่ใดก็ได้ในหน่วยความจำและจัดสรรได้ตามความต้องการ ตารางการค้นหาจะแมปตำแหน่งโทเค็นเชิงตรรกะกับบล็อกทางกายภาพ ซึ่งเกือบจะกำจัดการกระจายตัวของหน่วยความจำและอนุญาตให้ใช้บล็อกร่วมกัน เช่น ในหลายเอาต์พุตจากพร้อมท์เดียวกัน

การใช้งานจริงในโลกแห่งความเป็นจริง

การโฮสต์ LLM API แบบโอเพ่นซอร์สโดยที่ vLLM ให้บริการผู้ใช้แชทพร้อมกันจำนวนมากจาก GPU ตัวเดียวที่มีปริมาณงานสูง

การแบ่งปันพร้อมท์ของระบบแบบยาวกับคำขอนับพันผ่านการแคชคำนำหน้า ดังนั้นจึงได้รับการประมวลผลเพียงครั้งเดียว ไม่ใช่ซ้ำๆ

เรียกใช้การค้นหาบีมหรือการสุ่มตัวอย่างหลายรายการที่แชร์บล็อก KV สำหรับพรอมต์ทั่วไปผ่านการคัดลอกเมื่อเขียน

ลดการสิ้นเปลืองหน่วยความจำ GPU จากการแตกแฟรกเมนต์ เพื่อให้ผู้ให้บริการสามารถแพ็คเซสชันพร้อมกันมากขึ้นไปยังฮาร์ดแวร์เดียวกัน

อนาคตของ PagedAttention และ vLLM

vLLM ได้กลายเป็นแกนหลักการอนุมานแบบโอเพ่นซอร์สเริ่มต้น และตอนนี้แนวคิดของ PagedAttention ก็ปรากฏในสแต็กที่ให้บริการส่วนใหญ่แล้ว คาดหวังการแคชคำนำหน้าที่ลึกยิ่งขึ้น (การนำระบบแคชมาใช้ซ้ำกับผู้ใช้) การกรอกข้อมูลล่วงหน้าแบบแยกส่วนและถอดรหัสบนเครื่องที่แยกจากกัน นโยบายการกำจัดที่ชาญฉลาดยิ่งขึ้น และการบูรณาการอย่างแน่นหนากับการกำหนดปริมาณและการถอดรหัสเชิงคาดเดา เมื่อหน้าต่างบริบทเติบโตขึ้นเป็นโทเค็นนับล้าน การจัดการเพจ KV ที่มีประสิทธิภาพจึงกลายเป็นศูนย์กลางมากขึ้นในการให้บริการในราคาที่ย่อมเยา

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
  • การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ระวัง

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

ขั้นตอนต่อไป

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the PagedAttention and vLLM quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

What is PagedAttention and vLLM?

PagedAttention manages transformer key/value caches using fixed-size blocks mapped from logical token positions. This reduces cache-allocation waste and supports sharing, while vLLM’s actual throughput depends on the workload and system.

'KV cache' จัดเก็บอะไรระหว่างการสร้างข้อความ

แคช KV เก็บเวกเตอร์คีย์และค่าไว้สำหรับโทเค็นก่อนหน้าทั้งหมด ทำให้โมเดลเข้าถึงบริบททั้งหมดโดยไม่ต้องคำนวณใหม่ในแต่ละขั้นตอน

แนวคิดระบบปฏิบัติการใดเป็นแรงบันดาลใจให้ PagedAttention

PagedAttention ยืมเพจหน่วยความจำเสมือน: แคช KV จะถูกแบ่งออกเป็นเพจขนาดคงที่ซึ่งสามารถอยู่ได้ทุกที่ โดยแมปโดยตารางบล็อก

PagedAttention แก้ปัญหาอะไรกับการจัดสรรแคช KV แบบดั้งเดิม

การจองแผ่นที่ต่อเนื่องกันขนาดใหญ่หนึ่งแผ่นต่อคำขอ ซึ่งมีขนาดตามความยาวสูงสุด จะทำให้สูญเสียหน่วยความจำ GPU จำนวนมาก เพจจิ้งจัดสรรบล็อกขนาดเล็กตามความต้องการ ช่วยลดการสูญเสีย

PagedAttention อนุญาตให้หลายเอาต์พุตแชร์หน่วยความจำสำหรับพรอมต์ทั่วไปได้อย่างไร

คำนำหน้าเหมือนกัน (พรอมต์ที่ใช้ร่วมกันหรือสาขาการค้นหาลำแสง) อ้างอิงถึงหน้า KV ทางกายภาพเดียวกัน โดยคัดลอกเฉพาะเมื่อสาขาแยกจากกัน

vLLM และ PagedAttention พัฒนามาจากที่ใด

vLLM และอัลกอริธึม PagedAttention ออกมาจาก UC Berkeley ในรายงานปี 2023 และกลายเป็นกลไกการให้บริการโอเพ่นซอร์สที่ใช้กันอย่างแพร่หลายอย่างรวดเร็ว

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →