Mit dem Guide verknüpftes Quiz · Mittel Ebene
LLM-Inferenz-Routing- und Load-Balancing-Quiz
Überprüft Replikat- und Modell-Routing, Cache-Affinität, Live-Telemetrie, variable Token-Kosten und latenzbewussten Goodput für LLM-Inferenz.
Frage 1 von 8
Warum ist einfaches Round-Robin oft eine schlechte Lastausgleichsstrategie für LLM-Inferenz?
Sehen Sie sich jede Frage in der Vorschau an8 Fragen
Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.
- Warum ist einfaches Round-Robin oft eine schlechte Lastausgleichsstrategie für LLM-Inferenz?
- Die Kosten für Anfragen variieren stark und Replikate enthalten Sticky-KV-Caches
- In den meisten Ländern ist es illegal
- Round-Robin funktioniert nur für Datenbanken
- Zum Betrieb ist eine GPU erforderlich
- Was soll mit dem „Präfix-Cache-Affinitäts“-Routing erreicht werden?
- Senden jeder Anfrage an eine zufällige GPU
- Weiterleiten einer Anfrage an das Replikat, das sein Eingabeaufforderungspräfix bereits zwischengespeichert hat
- Verschlüsseln der Eingabeaufforderung vor dem Senden
- Komprimieren der Modellgewichte
- Was passiert beim schwierigkeitsbasierten Modellrouting normalerweise mit einer einfachen Abfrage?
- Es wird abgelehnt
- Es wird an das größte verfügbare Modell gesendet
- Es handelt sich um ein kleines, günstigeres Modell
- Es steht 24 Stunden in der Warteschlange
- Welches Live-Signal ist für einen LLM-fähigen Load Balancer am nützlichsten?
- Die Länge des Hostnamens des Servers
- Die Farbe des Racks
- Nur die Zeitzone des Benutzers
- Warteschlangentiefe und KV-Cache-Belegung jedes Replikats
- Was bietet ein Tool wie LiteLLM in einem Multi-Provider-Setup?
- Ein einzelner Proxy, der für den Ausgleich und Failover zwischen vielen Modellanbietern sorgt
- Eine neue Transformatorarchitektur
- Ein GPU-Kühlsystem
- Ein Ersatz für den Tokenizer
- Warum kann eine lange Ausgabeanfrage beim Ausgleich viele kurze überwiegen?
- Lange Ausgaben verbrauchen keine Ressourcen
- Jeder Ausgabe-Token kostet einen vollständigen Vorwärtsdurchlauf, sodass die gesamte Token-Last wichtiger ist als die Anzahl der Anfragen
- Kurze Anfragen sind immer langsamer
- Der Router kann die Ausgabelänge überhaupt nicht erkennen
- A serving system reports goodput rather than raw request count. What does goodput usually emphasize?
- Die Gesamtzahl der Modellparameter
- Only the number of HTTP connections opened
- Requests served while meeting the specified latency or service-level targets
- The fraction of requests that use the largest model
- A gateway first chooses a small or large model, then chooses a replica of that model. What are these two decisions?
- Tokenization followed by decoding
- Training followed by fine-tuning
- Prefill followed by prompt construction
- Model routing followed by replica load balancing