Mit dem Guide verknüpftes Quiz · Mittel Ebene

LLM-Inferenz-Routing- und Load-Balancing-Quiz

Überprüft Replikat- und Modell-Routing, Cache-Affinität, Live-Telemetrie, variable Token-Kosten und latenzbewussten Goodput für LLM-Inferenz.

Frage 1 von 8

Warum ist einfaches Round-Robin oft eine schlechte Lastausgleichsstrategie für LLM-Inferenz?

Sehen Sie sich jede Frage in der Vorschau an8 Fragen

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

  1. Warum ist einfaches Round-Robin oft eine schlechte Lastausgleichsstrategie für LLM-Inferenz?
    • Die Kosten für Anfragen variieren stark und Replikate enthalten Sticky-KV-Caches
    • In den meisten Ländern ist es illegal
    • Round-Robin funktioniert nur für Datenbanken
    • Zum Betrieb ist eine GPU erforderlich
  2. Was soll mit dem „Präfix-Cache-Affinitäts“-Routing erreicht werden?
    • Senden jeder Anfrage an eine zufällige GPU
    • Weiterleiten einer Anfrage an das Replikat, das sein Eingabeaufforderungspräfix bereits zwischengespeichert hat
    • Verschlüsseln der Eingabeaufforderung vor dem Senden
    • Komprimieren der Modellgewichte
  3. Was passiert beim schwierigkeitsbasierten Modellrouting normalerweise mit einer einfachen Abfrage?
    • Es wird abgelehnt
    • Es wird an das größte verfügbare Modell gesendet
    • Es handelt sich um ein kleines, günstigeres Modell
    • Es steht 24 Stunden in der Warteschlange
  4. Welches Live-Signal ist für einen LLM-fähigen Load Balancer am nützlichsten?
    • Die Länge des Hostnamens des Servers
    • Die Farbe des Racks
    • Nur die Zeitzone des Benutzers
    • Warteschlangentiefe und KV-Cache-Belegung jedes Replikats
  5. Was bietet ein Tool wie LiteLLM in einem Multi-Provider-Setup?
    • Ein einzelner Proxy, der für den Ausgleich und Failover zwischen vielen Modellanbietern sorgt
    • Eine neue Transformatorarchitektur
    • Ein GPU-Kühlsystem
    • Ein Ersatz für den Tokenizer
  6. Warum kann eine lange Ausgabeanfrage beim Ausgleich viele kurze überwiegen?
    • Lange Ausgaben verbrauchen keine Ressourcen
    • Jeder Ausgabe-Token kostet einen vollständigen Vorwärtsdurchlauf, sodass die gesamte Token-Last wichtiger ist als die Anzahl der Anfragen
    • Kurze Anfragen sind immer langsamer
    • Der Router kann die Ausgabelänge überhaupt nicht erkennen
  7. A serving system reports goodput rather than raw request count. What does goodput usually emphasize?
    • Die Gesamtzahl der Modellparameter
    • Only the number of HTTP connections opened
    • Requests served while meeting the specified latency or service-level targets
    • The fraction of requests that use the largest model
  8. A gateway first chooses a small or large model, then chooses a replica of that model. What are these two decisions?
    • Tokenization followed by decoding
    • Training followed by fine-tuning
    • Prefill followed by prompt construction
    • Model routing followed by replica load balancing