คู่มือทางเทคนิค
การกำหนดเส้นทางการอนุมาน LLM และการปรับสมดุลโหลด
เลเยอร์การควบคุมที่ตัดสินใจว่าแบบจำลอง, GPU หรือแบ็กเอนด์ใดควรจัดการคำขอ LLM ที่เข้ามาแต่ละรายการ และวิธีกระจายการรับส่งข้อมูลเพื่อไม่ให้มีเซิร์ฟเวอร์ใดล้นหลาม
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
บนหน้านี้อ่าน 2 นาที
ภาพรวม
ทำได้ดี ลดเวลาแฝงและต้นทุน ทำได้ไม่ดี ทำให้เกิดการหมดเวลาและ GPU ที่ไม่ได้ใช้งาน
เจาะลึก
การให้บริการ LLM ในวงกว้างหมายถึงการเรียกใช้แบบจำลองจำนวนมากบน GPU จำนวนมาก และการรับส่งข้อมูลการอนุมานนั้นหนาแน่นและไม่สม่ำเสมอ ข้อความแจ้งจะมีความยาวและความยากต่างกันมาก เราเตอร์จะอยู่ด้านหน้าและเลือกปลายทางโดยใช้สัญญาณที่เข้มข้นกว่า Round-robin แบบคลาสสิกมาก เราเตอร์ที่รับรู้ LLM สมัยใหม่จะพิจารณาความลึกของคิว การครอบครองแคช KV และการจำลองจะมีคำนำหน้าพร้อมท์ที่ตรงกันอยู่แล้วหรือไม่ (ความสัมพันธ์ของคำนำหน้ากับแคช) ดังนั้นคำขอติดตามผลจะเข้าสู่จุดที่แคชทำงานอยู่ เราเตอร์บางตัวยังเลือกรุ่นที่จะใช้ โดยส่งคำสั่งง่ายๆ ไปยังรุ่นเล็กราคาถูก และรุ่นยากไปยังรุ่นใหญ่ (การกำหนดเส้นทางโมเดล) จากนั้นโหลดบาลานซ์จะปรับแรงดันทั่วทั้งเรพลิกาให้เท่ากันเพื่อหลีกเลี่ยงฮอตสปอต เคารพขีดจำกัดอัตรา และรักษาเวลาแฝงให้ต่ำ ในขณะเดียวกันก็เพิ่ม Goodput โดยรวมและการใช้งาน GPU ให้สูงสุด
การใช้งานจริงในโลกแห่งความเป็นจริง
แพลตฟอร์มแชทบอทจะปักหมุดแต่ละการสนทนาไว้ที่แบบจำลองซึ่งเก็บแคช KV ไว้ ดังนั้นลำดับการติดตามผลจะเข้าสู่แคชคำนำหน้าและตอบสนองเร็วขึ้น
ระบบสไตล์ RouteLLM ส่งคำถามง่ายๆ ไปยังโมเดลราคาถูกขนาดเล็ก และเพิ่มเฉพาะคำถามที่ยากไปยังโมเดลชายแดน ซึ่งช่วยลดต้นทุนโดยสูญเสียคุณภาพเพียงเล็กน้อย
ส่วนขยายการอนุมาน Kubernetes Gateway API กำหนดเส้นทางตามความลึกของคิว GPU แบบสดและสถานะแคช แทนที่จะใช้ Round-Robin แบบธรรมดาข้ามพ็อด
พร็อกซี LiteLLM รับส่งข้อมูลข้าม OpenAI, Anthropic และโมเดลที่โฮสต์เองพร้อมทางเลือกสำรองและการปรับสมดุลการรับรู้ขีดจำกัดอัตราเมื่อผู้ให้บริการรายหนึ่งควบคุมปริมาณ
อนาคตของการกำหนดเส้นทางการอนุมาน LLM และการปรับสมดุลโหลด
การกำหนดเส้นทางกำลังกลายเป็นองค์ประกอบการเรียนรู้ชั้นหนึ่ง โปรเจ็กต์ต่างๆ เช่น Gateway API Inference Extension ของ Kubernetes, สแต็กการผลิตของ vLLM และเราเตอร์ที่ใช้ LiteLLM/Envoy จะทำให้การกำหนดเวลาการรับรู้แคชและการรับรู้ต้นทุนเป็นมาตรฐาน คาดหวังการกำหนดเส้นทางโมเดลตามความหมายและความยากลำบากมากขึ้น (สไตล์ RouteLLM), คิวลำดับความสำคัญที่ขับเคลื่อนด้วย SLA, การรับรู้หลายภูมิภาคและอินสแตนซ์เฉพาะจุด และนโยบายการเรียนรู้แบบเสริมกำลังที่สร้างสมดุลระหว่างเวลาแฝง ปริมาณงาน และต้นทุนดอลลาร์ในแบบเรียลไทม์ตามแบบจำลอง ราคา และการเปลี่ยนแปลงการรับส่งข้อมูล
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
- การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
- การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต
ระวัง
- การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
- ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
- ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น
ขั้นตอนต่อไป
- กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
- เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
- การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
- เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
Take the LLM Inference Routing and Load Balancing quiz
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
การกำหนดเส้นทางการอนุมาน LLM และการทำโหลดบาลานซ์คืออะไร
เลเยอร์การควบคุมที่ตัดสินใจว่าแบบจำลอง, GPU หรือแบ็กเอนด์ใดควรจัดการคำขอ LLM ที่เข้ามาแต่ละรายการ และวิธีกระจายการรับส่งข้อมูลเพื่อไม่ให้มีเซิร์ฟเวอร์ใดล้นหลาม ทำได้ดี ลดเวลาแฝงและต้นทุน ทำได้ไม่ดี ทำให้เกิดการหมดเวลาและ GPU ที่ไม่ได้ใช้งาน
เหตุใด Round-Robin ธรรมดาจึงมักเป็นกลยุทธ์การปรับสมดุลโหลดที่ไม่ดีสำหรับการอนุมาน LLM
คำขอ LLM มีความแตกต่างอย่างมากในด้านความยาว/ต้นทุน และแคช KV ของแบบจำลองทำให้เซสชันติดขัด ดังนั้นแบ็กเอนด์แบบสุ่มสี่สุ่มห้าจึงเพิกเฉยต่อความสัมพันธ์ของแคชและโหลดจริง
การกำหนดเส้นทาง 'prefix-cache affinity' พยายามบรรลุผลคืออะไร
หากแบบจำลองเก็บแคช KV สำหรับคำนำหน้าที่ใช้ร่วมกันอยู่แล้ว การกำหนดเส้นทางการติดตามผลที่นั่นจะใช้แคชนั้นซ้ำแทนการคำนวณใหม่ ซึ่งช่วยประหยัดการประมวลผลและเวลาแฝง
ในการกำหนดเส้นทางโมเดลตามความยาก โดยทั่วไปแล้วจะเกิดอะไรขึ้นกับการสืบค้นแบบง่าย
เราเตอร์รุ่นอย่าง RouteLLM ส่งคำสั่งง่ายๆ ไปยังรุ่นขนาดเล็กราคาถูก และจองรุ่นชายแดนราคาแพงไว้สำหรับรุ่นที่แข็ง ลดต้นทุนโดยสูญเสียคุณภาพน้อยที่สุด
สัญญาณสดใดมีประโยชน์มากที่สุดสำหรับโหลดบาลานเซอร์ที่รับรู้ LLM
การตรวจวัดระยะไกลแบ็กเอนด์จริง—โทเค็นที่รอดำเนินการ ความสมบูรณ์ของแบทช์ การครอบครองแคช—สะท้อนถึงโหลดที่แท้จริงได้ดีกว่าการนับคำขอธรรมดามาก
เครื่องมืออย่าง LiteLLM มีอะไรบ้างในการตั้งค่าผู้ให้บริการหลายราย
LiteLLM ทำหน้าที่เป็นพร็อกซีการกำหนดเส้นทางระหว่างผู้ให้บริการ (OpenAI, Anthropic โฮสต์เอง) เพิ่มทางเลือกสำรองและการปรับสมดุลการรับรู้ขีดจำกัดอัตรา
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้