ガイド連動クイズ · 中 レベル

LLM 推論ルーティングとロード バランシングのクイズ

レプリカとモデルのルーティング、キャッシュ アフィニティ、ライブ テレメトリ、可変トークン コスト、LLM 推論のレイテンシーを考慮したグッドプットをチェックします。

関連するガイドパスLLM 推論ルーティングとロード バランシング
質問 1 の 8

単純なラウンドロビンが LLM 推論の負荷分散戦略として不適切であることが多いのはなぜですか?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. 単純なラウンドロビンが LLM 推論の負荷分散戦略として不適切であることが多いのはなぜですか?
    • リクエストのコストは大きく異なり、レプリカはスティッキー KV キャッシュを保持します
    • ほとんどの国では違法です
    • ラウンドロビンはデータベースに対してのみ機能します
    • 実行するにはGPUが必要です
  2. 「プレフィックス キャッシュ アフィニティ」ルーティングは何を達成しようとしていますか?
    • 各リクエストをランダムな GPU に送信する
    • プロンプト プレフィックスを既にキャッシュしているレプリカにリクエストをルーティングする
    • 送信前にプロンプトを暗号化する
    • モデルの重みを圧縮する
  3. 難易度ベースのモデル ルーティングでは、簡単なクエリでは通常何が起こりますか?
    • 拒否されました
    • 利用可能な最大のモデルに送信されます
    • 小型で安価なモデルに投入
    • 24時間並びます
  4. LLM 対応ロード バランサにとって最も役立つライブ信号はどれですか?
    • サーバーのホスト名の長さ
    • ラックの色
    • ユーザーのみのタイムゾーン
    • 各レプリカのキューの深さと KV キャッシュの占有率
  5. LiteLLM のようなツールはマルチプロバイダー設定で何を提供しますか?
    • 多くのモデルプロバイダー間でバランスをとり、フェイルオーバーする単一のプロキシ
    • 新しいトランスアーキテクチャ
    • GPU冷却システム
    • トークナイザーの代替品
  6. バランスを取るために、1 つの長い出力リクエストが多くの短い出力リクエストよりも優先されるのはなぜですか?
    • 長い出力ではリソースを使用しません
    • 各出力トークンには完全なフォワード パスが必要となるため、リクエスト数よりもトークンの総負荷が重要になります。
    • 短いリクエストは常に遅くなります
    • ルーターは出力の長さをまったく認識できません
  7. A serving system reports goodput rather than raw request count. What does goodput usually emphasize?
    • モデルパラメータの総数
    • Only the number of HTTP connections opened
    • Requests served while meeting the specified latency or service-level targets
    • The fraction of requests that use the largest model
  8. A gateway first chooses a small or large model, then chooses a replica of that model. What are these two decisions?
    • Tokenization followed by decoding
    • Training followed by fine-tuning
    • Prefill followed by prompt construction
    • Model routing followed by replica load balancing