Quiz dotyczący routingu wnioskowania LLM i równoważenia obciążenia

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Dlaczego zwykłe działanie okrężne często jest słabą strategią równoważenia obciążenia dla wnioskowania LLM?
   • Żądania różnią się znacznie pod względem kosztów, a repliki przechowują trwałe pamięci podręczne KV
   • W większości krajów jest to nielegalne
   • Metoda okrężna działa tylko w przypadku baz danych
   • Do działania wymaga procesora graficznego
2. Co próbuje osiągnąć routing „powinowactwo prefiksu-pamięci podręcznej”?
   • Wysyłanie każdego żądania do losowego procesora graficznego
   • Kierowanie żądania do repliki, która już buforowała swój prefiks podpowiedzi
   • Szyfrowanie monitu przed wysłaniem
   • Kompresja ciężarów modelu
3. Co zazwyczaj dzieje się z łatwym zapytaniem w przypadku routingu modelu opartego na trudności?
   • Zostało odrzucone
   • Wysyłany jest do największego dostępnego modelu
   • Wysyłany jest do mniejszego, tańszego modelu
   • Stoi w kolejce przez 24 godziny
4. Który sygnał na żywo jest najbardziej przydatny w przypadku modułu równoważenia obciążenia obsługującego LLM?
   • Długość nazwy hosta serwera
   • Kolor stojaka
   • Tylko strefa czasowa użytkownika
   • Głębokość kolejki i zajętość pamięci podręcznej KV każdej repliki
5. Co zapewnia narzędzie takie jak LiteLLM w konfiguracji z wieloma dostawcami?
   • Pojedynczy serwer proxy, który równoważy i przełącza w trybie awaryjnym u wielu dostawców modeli
   • Nowa architektura transformatora
   • Układ chłodzenia GPU
   • Zamiennik tokenizera
6. Dlaczego jedno żądanie o długim wyjściu może przeważyć nad wieloma krótkimi w celu równoważenia?
   • Długie wyjścia nie zużywają zasobów
   • Każdy token wyjściowy kosztuje pełne przejście w przód, więc całkowite obciążenie tokenu ma większe znaczenie niż liczba żądań
   • Krótkie żądania są zawsze wolniejsze
   • Router w ogóle nie widzi długości wyjściowej
7. A serving system reports goodput rather than raw request count. What does goodput usually emphasize?
   • Całkowita liczba parametrów modelu
   • Only the number of HTTP connections opened
   • Requests served while meeting the specified latency or service-level targets
   • The fraction of requests that use the largest model
8. A gateway first chooses a small or large model, then chooses a replica of that model. What are these two decisions?
   • Tokenization followed by decoding
   • Training followed by fine-tuning
   • Prefill followed by prompt construction
   • Model routing followed by replica load balancing