Retour à tous les quizQuiz lié à un guideMoyen Niveau6 Questions

Quiz sur le routage d'inférence et l'équilibrage de charge LLM

Vérifiez votre compréhension de la façon dont les demandes sont orientées et équilibrées dans les backends de service LLM.

Question 1 de 6Exactement : 0

Pourquoi le round-robin simple est-il souvent une mauvaise stratégie d'équilibrage de charge pour l'inférence LLM ?