แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบการกำหนดเส้นทางการอนุมาน LLM และการปรับสมดุลโหลด

ตรวจสอบการกำหนดเส้นทางแบบจำลองและโมเดล ความสัมพันธ์ของแคช การวัดและส่งข้อมูลทางไกลแบบสด ต้นทุนโทเค็นแบบแปรผัน และ Goodput การรับรู้เวลาแฝงสำหรับการอนุมาน LLM

เส้นทางแนะนำที่เกี่ยวข้องการกําหนดเส้นทางและการกระจายโหลดของ LLM
คำถาม 1 ของ 8

เหตุใด Round-Robin ธรรมดาจึงมักเป็นกลยุทธ์การปรับสมดุลโหลดที่ไม่ดีสำหรับการอนุมาน LLM

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. เหตุใด Round-Robin ธรรมดาจึงมักเป็นกลยุทธ์การปรับสมดุลโหลดที่ไม่ดีสำหรับการอนุมาน LLM
    • คำขอมีค่าใช้จ่ายแตกต่างกันอย่างมาก และแบบจำลองจะเก็บแคช KV ที่เหนียวแน่น
    • มันผิดกฎหมายในประเทศส่วนใหญ่
    • Round-robin ใช้ได้กับฐานข้อมูลเท่านั้น
    • ต้องใช้ GPU เพื่อทำงาน
  2. การกำหนดเส้นทาง 'prefix-cache affinity' พยายามบรรลุผลคืออะไร
    • ส่งคำขอแต่ละรายการไปยัง GPU แบบสุ่ม
    • การกำหนดเส้นทางคำขอไปยังแบบจำลองที่แคชคำนำหน้าพร้อมท์ไว้แล้ว
    • การเข้ารหัสข้อความแจ้งก่อนที่จะส่ง
    • การบีบอัดน้ำหนักของโมเดล
  3. ในการกำหนดเส้นทางโมเดลตามความยาก โดยทั่วไปแล้วจะเกิดอะไรขึ้นกับการสืบค้นแบบง่าย
    • มันถูกปฏิเสธ
    • จะถูกส่งไปยังรุ่นที่ใหญ่ที่สุดที่มีอยู่
    • ส่งมารุ่นเล็กราคาถูกกว่าครับ
    • มันถูกต่อคิวเป็นเวลา 24 ชั่วโมง
  4. สัญญาณสดใดมีประโยชน์มากที่สุดสำหรับโหลดบาลานเซอร์ที่รับรู้ LLM
    • ความยาวของชื่อโฮสต์ของเซิร์ฟเวอร์
    • สีของชั้นวาง
    • เขตเวลาของผู้ใช้เท่านั้น
    • ความลึกของคิวและการครอบครองแคช KV ของแต่ละแบบจำลอง
  5. เครื่องมืออย่าง LiteLLM มีอะไรบ้างในการตั้งค่าผู้ให้บริการหลายราย
    • พร็อกซีเดียวที่สมดุลและล้มเหลวผ่านผู้ให้บริการโมเดลหลายราย
    • สถาปัตยกรรมหม้อแปลงใหม่
    • ระบบระบายความร้อน GPU
    • การทดแทนโทเค็นไนเซอร์
  6. เหตุใดคำขอเอาต์พุตแบบยาวหนึ่งรายการจึงสามารถมีน้ำหนักมากกว่าคำขอแบบสั้นจำนวนมากเพื่อการปรับสมดุล
    • เอาต์พุตแบบยาวไม่ใช้ทรัพยากร
    • โทเค็นเอาต์พุตแต่ละรายการมีค่าใช้จ่ายในการส่งต่อแบบเต็ม ดังนั้นโหลดโทเค็นทั้งหมดจึงมีความสำคัญมากกว่าจำนวนคำขอ
    • คำขอสั้น ๆ จะช้ากว่าเสมอ
    • เราเตอร์ไม่สามารถมองเห็นความยาวเอาต์พุตได้เลย
  7. A serving system reports goodput rather than raw request count. What does goodput usually emphasize?
    • จำนวนพารามิเตอร์โมเดลทั้งหมด
    • Only the number of HTTP connections opened
    • Requests served while meeting the specified latency or service-level targets
    • The fraction of requests that use the largest model
  8. A gateway first chooses a small or large model, then chooses a replica of that model. What are these two decisions?
    • Tokenization followed by decoding
    • Training followed by fine-tuning
    • Prefill followed by prompt construction
    • Model routing followed by replica load balancing