← Назад до всіх тестівВікторина, пов’язана з посібником • Середній Рівень • 6 Питання

Вікторина LLM Inference Routing and Load Balancing

Перевірте своє розуміння того, як запити керуються та балансуються між серверними частинами LLM, що обслуговують.

Пов'язані напрямні шляхиLLM Inference Routing And Load Balancing
Питання 1 з 6

Чому звичайний циклічний цикл часто є поганою стратегією балансування навантаження для висновку LLM?