Назад до всіх тестівВікторина, пов’язана з посібникомСередній Рівень6 Питання

Вікторина LLM Inference Routing and Load Balancing

Перевірте своє розуміння того, як запити керуються та балансуються між серверними частинами LLM, що обслуговують.

Питання 1 з 6Правильно: 0

Чому звичайний циклічний цикл часто є поганою стратегією балансування навантаження для висновку LLM?