Tillbaka till alla frågesporterGuidelänkat frågesportMedium Nivå6 Frågor

LLM Inferensrouting och lastbalansering Quiz

Kontrollera din förståelse för hur förfrågningar styrs och balanseras över LLM-servar backends.

Fråga 1 av 6Rätt: 0

Varför är vanlig round-robin ofta en dålig lastbalanserande strategi för LLM-inferens?