Kuis terkait panduan · Sedang Tingkat

Perutean Inferensi LLM dan Kuis Penyeimbangan Beban

Memeriksa perutean replika dan model, afinitas cache, telemetri langsung, biaya token variabel, dan goodput sadar latensi untuk inferensi LLM.

Jalur panduan terkaitRouting Inferensi LLM dan Penyeimbangan Beban
Pertanyaan 1 dari 8

Mengapa sistem round-robin sering kali merupakan strategi penyeimbangan beban yang buruk untuk inferensi LLM?

Pratinjau setiap pertanyaan8 pertanyaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

  1. Mengapa sistem round-robin sering kali merupakan strategi penyeimbangan beban yang buruk untuk inferensi LLM?
    • Biaya permintaan sangat bervariasi dan replika menyimpan cache KV yang melekat
    • Ini ilegal di sebagian besar negara
    • Round-robin hanya berfungsi untuk database
    • Ini membutuhkan GPU untuk menjalankannya
  2. Apa yang ingin dicapai oleh perutean 'prefix-cache affinity'?
    • Mengirim setiap permintaan ke GPU acak
    • Merutekan permintaan ke replika yang telah menyimpan awalan promptnya dalam cache
    • Mengenkripsi prompt sebelum mengirim
    • Mengompresi bobot model
  3. Dalam perutean model berbasis kesulitan, apa yang biasanya terjadi pada kueri mudah?
    • Itu ditolak
    • Itu dikirim ke model terbesar yang tersedia
    • Dikirim dengan model yang kecil dan lebih murah
    • Itu antri selama 24 jam
  4. Sinyal langsung mana yang paling berguna untuk penyeimbang beban yang mendukung LLM?
    • Panjang nama host server
    • Warna rak
    • Zona waktu pengguna saja
    • Kedalaman antrian dan okupansi KV-cache setiap replika
  5. Apa yang disediakan alat seperti LiteLLM dalam pengaturan multi-penyedia?
    • Proksi tunggal yang menyeimbangkan dan melakukan failover di banyak penyedia model
    • Arsitektur transformator baru
    • Sistem pendingin GPU
    • Pengganti tokenizer
  6. Mengapa satu permintaan keluaran panjang dapat melebihi banyak permintaan keluaran pendek untuk penyeimbangan?
    • Output yang panjang tidak menggunakan sumber daya
    • Setiap token keluaran dikenakan biaya forward pass penuh, jadi total muatan token lebih penting daripada jumlah permintaan
    • Permintaan singkat selalu lebih lambat
    • Router tidak dapat melihat panjang keluaran sama sekali
  7. A serving system reports goodput rather than raw request count. What does goodput usually emphasize?
    • Jumlah total parameter model
    • Only the number of HTTP connections opened
    • Requests served while meeting the specified latency or service-level targets
    • The fraction of requests that use the largest model
  8. A gateway first chooses a small or large model, then chooses a replica of that model. What are these two decisions?
    • Tokenization followed by decoding
    • Training followed by fine-tuning
    • Prefill followed by prompt construction
    • Model routing followed by replica load balancing