Volver a todos los cuestionariosCuestionario vinculado a una guíaMedio Nivel6 Preguntas

Prueba de equilibrio de carga y enrutamiento de inferencia de LLM

Compruebe su comprensión de cómo se dirigen y equilibran las solicitudes entre los backends de servicio de LLM.

Pregunta 1 de 6Correcto: 0

¿Por qué la operación por turnos suele ser una mala estrategia de equilibrio de carga para la inferencia de LLM?