LLM Çıkarım Yönlendirme ve Yük Dengeleme Sınavı

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. Düz bir kez deneme yöntemi neden LLM çıkarımı için genellikle zayıf bir yük dengeleme stratejisidir?
   • İstekler maliyet açısından büyük farklılıklar gösterir ve kopyalar yapışkan KV önbellekleri içerir
   • Çoğu ülkede yasa dışıdır
   • Round-robin yalnızca veritabanları için çalışır
   • Çalıştırılması için GPU gerekiyor
2. 'Önek-önbellek benzeşimi' yönlendirmesi neyi başarmaya çalışıyor?
   • Her isteği rastgele bir GPU'ya gönderme
   • Bir isteği, istem önekini zaten önbelleğe almış olan kopyaya yönlendirme
   • İstemi göndermeden önce şifreleme
   • Model ağırlıklarının sıkıştırılması
3. Zorluğa dayalı model yönlendirmede kolay bir sorguya genellikle ne olur?
   • Reddedildi
   • Mevcut en büyük modele gönderilir
   • Daha küçük, daha ucuz bir modele gönderilir
   • 24 saat kuyrukta bekletiliyor
4. Yüksek Lisans bilincine sahip bir yük dengeleyici için hangi canlı sinyal en kullanışlıdır?
   • Sunucunun ana bilgisayar adı uzunluğu
   • Rafın rengi
   • Yalnızca kullanıcının saat dilimi
   • Her kopyanın kuyruk derinliği ve KV önbellek doluluğu
5. Çoklu sağlayıcı kurulumunda LiteLLM gibi bir araç ne sağlar?
   • Birçok model sağlayıcıyı dengeleyen ve devreden tek bir proxy
   • Yeni bir transformatör mimarisi
   • GPU soğutma sistemi
   • Tokenizer için bir yedek
6. Dengeleme açısından uzun çıktılı bir istek neden birçok kısa çıktı isteğinden daha ağır basabilir?
   • Uzun çıktılar kaynak kullanmaz
   • Her çıkış jetonunun tam bir ileri geçiş maliyeti vardır, dolayısıyla toplam jeton yükü istek sayısından daha önemlidir
   • Kısa istekler her zaman daha yavaştır
   • Yönlendirici çıktı uzunluğunu hiç göremiyor
7. A serving system reports goodput rather than raw request count. What does goodput usually emphasize?
   • Toplam model parametresi sayısı
   • Only the number of HTTP connections opened
   • Requests served while meeting the specified latency or service-level targets
   • The fraction of requests that use the largest model
8. A gateway first chooses a small or large model, then chooses a replica of that model. What are these two decisions?
   • Tokenization followed by decoding
   • Training followed by fine-tuning
   • Prefill followed by prompt construction
   • Model routing followed by replica load balancing