Torna a tutti i quizQuiz collegato alla guidaMedio Livello6 Domande

Quiz sul routing dell'inferenza LLM e sul bilanciamento del carico

Controlla la tua comprensione di come le richieste vengono indirizzate e bilanciate nei backend di servizio LLM.

Domanda 1 di 6Corretto: 0

Perché il semplice round robin è spesso una strategia di bilanciamento del carico inadeguata per l'inferenza LLM?