Înapoi la toate chestionareleTest legat de ghidMediu Nivel6 Întrebări

Chestionar privind rutarea inferenței și echilibrarea încărcăturii LLM

Verificați-vă înțelegerea modului în care solicitările sunt direcționate și echilibrate în backend-urile de servire LLM.

Întrebare 1 de 6Corect: 0

De ce simplul round-robin este adesea o strategie slabă de echilibrare a sarcinii pentru inferența LLM?