Cuestionario vinculado a una guía · Medio Nivel

Prueba de equilibrio de carga y enrutamiento de inferencia de LLM

Compruebe su comprensión de cómo se dirigen y equilibran las solicitudes entre los backends de servicio de LLM.

Pregunta 1 de 6

¿Por qué la operación por turnos suele ser una mala estrategia de equilibrio de carga para la inferencia de LLM?