Zpět ke všem kvízůmKvíz spojený s průvodcemStřední úroveň6 Otázky

LLM Inference Routing a Load Balancing Quiz

Ověřte si, jak jsou požadavky řízeny a vyváženy napříč backendy pro poskytování LLM.

Související vodicí cesty

Otázka 1 z 6správně: 0

Proč je obyčejné kolo-robin často špatnou strategií vyvažování zátěže pro vyvozování LLM?