Voltar para todos os questionáriosQuestionário vinculado ao guiaMédio Nível6 Perguntas

Teste de roteamento de inferência e balanceamento de carga LLM

Verifique se você entende como as solicitações são direcionadas e equilibradas nos back-ends de atendimento do LLM.

Pergunta 1 de 6Correto: 0

Por que o round-robin simples costuma ser uma estratégia de balanceamento de carga ruim para inferência de LLM?