Kuiz berkaitan panduan · Sederhana Tahap

Kuiz Penghalaan Inferens dan Pengimbangan Beban LLM

Menyemak penghalaan replika dan model, perkaitan cache, telemetri langsung, kos token berubah dan goodput sedar kependaman untuk inferens LLM.

Laluan panduan yang berkaitanPenghalaan Inferens LLM dan Pengimbangan Beban
soalan 1 daripada 8

Mengapakah round-robin biasa selalunya merupakan strategi pengimbangan beban yang lemah untuk inferens LLM?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Mengapakah round-robin biasa selalunya merupakan strategi pengimbangan beban yang lemah untuk inferens LLM?
    • Permintaan sangat berbeza dari segi kos dan replika menyimpan cache KV yang melekit
    • Ia adalah haram di kebanyakan negara
    • Round-robin hanya berfungsi untuk pangkalan data
    • Ia memerlukan GPU untuk dijalankan
  2. Apakah penghalaan 'prefix-cache affinity' yang cuba dicapai?
    • Menghantar setiap permintaan kepada GPU rawak
    • Menghalakan permintaan kepada replika yang telah menyimpan cache awalan gesaannya
    • Menyulitkan gesaan sebelum menghantar
    • Memampatkan berat model
  3. Dalam penghalaan model berasaskan kesukaran, apakah yang biasanya berlaku kepada pertanyaan mudah?
    • Ia ditolak
    • Ia dihantar ke model terbesar yang ada
    • Ia dihantar kepada model yang kecil dan lebih murah
    • Ia beratur selama 24 jam
  4. Isyarat langsung manakah yang paling berguna untuk pengimbang beban sedar LLM?
    • Panjang nama hos pelayan
    • Warna rak
    • Zon masa pengguna sahaja
    • Kedalaman baris gilir dan penghunian KV-cache bagi setiap replika
  5. Apakah yang disediakan oleh alat seperti LiteLLM dalam persediaan berbilang penyedia?
    • Satu proksi yang mengimbangi dan gagal merentas banyak pembekal model
    • Seni bina pengubah baharu
    • Sistem penyejukan GPU
    • Pengganti tokenizer
  6. Mengapakah satu permintaan keluaran panjang boleh mengatasi banyak permintaan pendek untuk mengimbangi?
    • Output yang panjang tidak menggunakan sumber
    • Setiap token keluaran berharga pas ke hadapan penuh, jadi jumlah muatan token lebih penting daripada kiraan permintaan
    • Permintaan pendek sentiasa lebih perlahan
    • Penghala tidak dapat melihat panjang output sama sekali
  7. A serving system reports goodput rather than raw request count. What does goodput usually emphasize?
    • Jumlah bilangan parameter model
    • Only the number of HTTP connections opened
    • Requests served while meeting the specified latency or service-level targets
    • The fraction of requests that use the largest model
  8. A gateway first chooses a small or large model, then chooses a replica of that model. What are these two decisions?
    • Tokenization followed by decoding
    • Training followed by fine-tuning
    • Prefill followed by prompt construction
    • Model routing followed by replica load balancing