ต่อไปคำแนะนำต่อไป
KServe และโมเดลที่ให้บริการบน Kubernetes
เทคนิค
คู่มือทางเทคนิค
สถาปัตยกรรมการให้บริการที่แบ่งการอนุมานโมเดลภาษาขนาดใหญ่ออกเป็นสองเฟส ได้แก่ เติมล่วงหน้าและถอดรหัส และรันบนกลุ่ม GPU ที่แตกต่างกัน
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
เป็นเรื่องสำคัญเนื่องจากทั้งสองระยะนี้มีความต้องการด้านฮาร์ดแวร์ที่ตรงกันข้าม และการบังคับให้เข้าสู่เครื่องเดียวกันจะทำให้ความจุสิ้นเปลืองและทำให้เวลาในการตอบสนองลดลง
เมื่อ LLM ตอบกลับ มันจะทำงานในสองขั้นตอน การเติมล่วงหน้าจะอ่านพรอมต์ทั้งหมดในครั้งเดียวและสร้างแคชคีย์-ค่า (KV) นี่เป็นการระเบิดครั้งใหญ่แบบขนานและขอบเขตการคำนวณที่ทำให้หน่วยทางคณิตศาสตร์ของ GPU อิ่มตัว จากนั้นถอดรหัสจะสร้างโทเค็นทีละรายการ แต่ละขั้นตอนจะอ่านแคช KV ทั้งหมด ซึ่งเป็นหยดที่จำกัดแบนด์วิดท์หน่วยความจำและคำนวณเพียงเล็กน้อย เมื่อทำงานร่วมกัน การกรอกข้อมูลล่วงหน้าแบบยาวจะทำให้การถอดรหัสของทุกคนหยุดชะงัก (การบล็อกส่วนหัวของบรรทัด) และการแบทช์ทั้งสองจะสร้างการรบกวน การแยกส่วนจะทำการกรอกข้อมูลล่วงหน้าบนพูล GPU หนึ่งและถอดรหัสบนอีกพูลหนึ่ง โดยถ่ายโอนแคช KV ระหว่างพวกมันผ่านการเชื่อมต่อระหว่างกันที่รวดเร็ว เช่น NVLink หรือ InfiniBand แต่ละพูลได้รับการปรับแต่งและปรับขนาดอย่างเป็นอิสระ ปรับปรุง goodput ลดเวลาแฝงของส่วนท้าย และปล่อยให้ผู้ปฏิบัติงานเข้าถึงเป้าหมายโทเค็นเวลาถึงโทเค็นแรกและเวลาต่อเอาต์พุตที่จำกัดพร้อมกัน
ผู้ช่วยแชทจะกำหนดเส้นทางเอกสารขนาดยาวไปยังคลัสเตอร์ที่กรอกข้อมูลล่วงหน้าซึ่งมีการประมวลผลสูง จากนั้นสตรีมการตอบกลับจากคลัสเตอร์ถอดรหัสที่เพิ่มประสิทธิภาพหน่วยความจำเพื่อให้เวลาแฝงในการพิมพ์ราบรื่น
NVIDIA Dynamo และ vLLM ช่วยให้ผู้ปฏิบัติงานปรับใช้กลุ่มผู้ปฏิบัติงานที่กรอกข้อมูลล่วงหน้าและถอดรหัสแยกกัน ดังนั้นการแจ้งเตือนที่ยาวต่อเนื่องจะไม่หยุดการทำงานรุ่นต่อเนื่อง
Mooncake (ใช้โดย Kimi จาก Moonshot AI) แยกการกรอกข้อมูลล่วงหน้าและถอดรหัส และเพิ่มพูล KV-cache แบบกระจายเพื่อลดการคำนวณซ้ำพร้อมท์ซ้ำซ้อนในขนาดต่างๆ
บริการเติมโค้ดให้สมบูรณ์มีพูลการกรอกล่วงหน้าขนาดเล็กสำหรับพรอมต์สั้น ๆ และพูลการถอดรหัสขนาดใหญ่ เนื่องจากต้นทุนส่วนใหญ่มาจากการสตรีมโทเค็นเอาต์พุตจำนวนมาก
คาดว่าการแยกส่วนจะกลายเป็นค่าเริ่มต้นในสแต็คการผลิต ระบบต่างๆ เช่น DistServe, Splitwise และ Mooncake ทำให้เป็นที่นิยม และตอนนี้ vLLM และ NVIDIA Dynamo ก็มีโหมดแบบแยกส่วนแล้ว การวิจัยกำลังผลักดันการเพิ่มประสิทธิภาพการถ่ายโอนแคช KV การรวมแคชและการใช้ซ้ำข้ามคำขอ การปรับสมดุลแบบไดนามิกของอัตราส่วนการเติมล่วงหน้า/ถอดรหัสภายใต้การรับส่งข้อมูลที่เปลี่ยนแปลง และการผสานรวมที่เข้มงวดมากขึ้นด้วยการแคชคำนำหน้าและการเติมล่วงหน้าแบบก้อน เมื่อหน้าต่างบริบทขยายเป็นโทเค็นนับล้าน การแยกขั้นตอนเหล่านี้จึงกลายเป็นสิ่งจำเป็นมากขึ้นสำหรับการให้บริการที่คุ้มค่าและมีความหน่วงต่ำ
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
สถาปัตยกรรมการให้บริการที่แบ่งการอนุมานโมเดลภาษาขนาดใหญ่ออกเป็นสองเฟส ได้แก่ เติมล่วงหน้าและถอดรหัส และรันบนกลุ่ม GPU ที่แตกต่างกัน เป็นเรื่องสำคัญเนื่องจากทั้งสองระยะนี้มีความต้องการด้านฮาร์ดแวร์ที่ตรงกันข้าม และการบังคับให้เข้าสู่เครื่องเดียวกันจะทำให้ความจุสิ้นเปลืองและทำให้เวลาในการตอบสนองลดลง
การกรอกข้อมูลล่วงหน้าจะประมวลผลพรอมต์ทั้งหมดในแบบคู่ขนานและทำให้การประมวลผลอิ่มตัว ในขณะที่ถอดรหัสจะอ่านแคช KV ในแต่ละขั้นตอน และถูกจำกัดโดยแบนด์วิดท์หน่วยความจำ—ความต้องการที่ตรงกันข้ามซึ่งปรับพูลที่แยกจากกันและปรับอย่างอิสระ
การเติมล่วงหน้าจะสร้างแคช KV สำหรับพรอมต์ decode ต้องการให้แคชนั้นสร้างต่อไป ดังนั้นแคชจึงถูกส่งผ่านการเชื่อมต่อที่รวดเร็วไปยังกลุ่มการถอดรหัส
บน GPU ที่ใช้ร่วมกัน การกรอกข้อมูลล่วงหน้าที่ยาวนานสามารถบล็อกขั้นตอนการถอดรหัสที่กำลังดำเนินอยู่ การแยกพวกมันออกจากกันป้องกันการรบกวนนั้นและทำให้เวลาแฝงของหางคงที่
กรอกข้อมูลล่วงหน้าจะประมวลผลโทเค็นพร้อมต์ทั้งหมดพร้อมกัน ดังนั้นแบทช์ที่ใหญ่กว่าจะป้อนเทนเซอร์คอร์ได้ดี decode จะสร้างโทเค็นครั้งละหนึ่งโทเค็นและควบคุมด้วยหน่วยความจำ ดังนั้นจึงปรับขนาดได้แตกต่างกัน
จำเป็นต้องมีลิงก์แบนด์วิธสูงและมีเวลาแฝงต่ำ เช่น NVLink (ภายในโหนด) และ InfiniBand (ระหว่างโหนด) ดังนั้นการถ่ายโอน KV-cache จะไม่กลายเป็นปัญหาคอขวดใหม่
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
KServe และโมเดลที่ให้บริการบน Kubernetes
เทคนิค