แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบการกำหนดเส้นทางการอนุมาน LLM และการปรับสมดุลโหลด
ตรวจสอบการกำหนดเส้นทางแบบจำลองและโมเดล ความสัมพันธ์ของแคช การวัดและส่งข้อมูลทางไกลแบบสด ต้นทุนโทเค็นแบบแปรผัน และ Goodput การรับรู้เวลาแฝงสำหรับการอนุมาน LLM
คำถาม 1 ของ 8
เหตุใด Round-Robin ธรรมดาจึงมักเป็นกลยุทธ์การปรับสมดุลโหลดที่ไม่ดีสำหรับการอนุมาน LLM
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- เหตุใด Round-Robin ธรรมดาจึงมักเป็นกลยุทธ์การปรับสมดุลโหลดที่ไม่ดีสำหรับการอนุมาน LLM
- คำขอมีค่าใช้จ่ายแตกต่างกันอย่างมาก และแบบจำลองจะเก็บแคช KV ที่เหนียวแน่น
- มันผิดกฎหมายในประเทศส่วนใหญ่
- Round-robin ใช้ได้กับฐานข้อมูลเท่านั้น
- ต้องใช้ GPU เพื่อทำงาน
- การกำหนดเส้นทาง 'prefix-cache affinity' พยายามบรรลุผลคืออะไร
- ส่งคำขอแต่ละรายการไปยัง GPU แบบสุ่ม
- การกำหนดเส้นทางคำขอไปยังแบบจำลองที่แคชคำนำหน้าพร้อมท์ไว้แล้ว
- การเข้ารหัสข้อความแจ้งก่อนที่จะส่ง
- การบีบอัดน้ำหนักของโมเดล
- ในการกำหนดเส้นทางโมเดลตามความยาก โดยทั่วไปแล้วจะเกิดอะไรขึ้นกับการสืบค้นแบบง่าย
- มันถูกปฏิเสธ
- จะถูกส่งไปยังรุ่นที่ใหญ่ที่สุดที่มีอยู่
- ส่งมารุ่นเล็กราคาถูกกว่าครับ
- มันถูกต่อคิวเป็นเวลา 24 ชั่วโมง
- สัญญาณสดใดมีประโยชน์มากที่สุดสำหรับโหลดบาลานเซอร์ที่รับรู้ LLM
- ความยาวของชื่อโฮสต์ของเซิร์ฟเวอร์
- สีของชั้นวาง
- เขตเวลาของผู้ใช้เท่านั้น
- ความลึกของคิวและการครอบครองแคช KV ของแต่ละแบบจำลอง
- เครื่องมืออย่าง LiteLLM มีอะไรบ้างในการตั้งค่าผู้ให้บริการหลายราย
- พร็อกซีเดียวที่สมดุลและล้มเหลวผ่านผู้ให้บริการโมเดลหลายราย
- สถาปัตยกรรมหม้อแปลงใหม่
- ระบบระบายความร้อน GPU
- การทดแทนโทเค็นไนเซอร์
- เหตุใดคำขอเอาต์พุตแบบยาวหนึ่งรายการจึงสามารถมีน้ำหนักมากกว่าคำขอแบบสั้นจำนวนมากเพื่อการปรับสมดุล
- เอาต์พุตแบบยาวไม่ใช้ทรัพยากร
- โทเค็นเอาต์พุตแต่ละรายการมีค่าใช้จ่ายในการส่งต่อแบบเต็ม ดังนั้นโหลดโทเค็นทั้งหมดจึงมีความสำคัญมากกว่าจำนวนคำขอ
- คำขอสั้น ๆ จะช้ากว่าเสมอ
- เราเตอร์ไม่สามารถมองเห็นความยาวเอาต์พุตได้เลย
- A serving system reports goodput rather than raw request count. What does goodput usually emphasize?
- จำนวนพารามิเตอร์โมเดลทั้งหมด
- Only the number of HTTP connections opened
- Requests served while meeting the specified latency or service-level targets
- The fraction of requests that use the largest model
- A gateway first chooses a small or large model, then chooses a replica of that model. What are these two decisions?
- Tokenization followed by decoding
- Training followed by fine-tuning
- Prefill followed by prompt construction
- Model routing followed by replica load balancing