Als nächstesNächster Leitfaden
Seldon-Kern- und Inferenzdiagramme
Technisch
Technischer Leitfaden
Die Kontrollschicht, die entscheidet, welches Modellreplikat, welche GPU oder welches Backend jede eingehende LLM-Anfrage verarbeiten soll und wie der Datenverkehr verteilt wird, damit kein einzelner Server überlastet wird.
Hören Sie sich diesen Leitfaden anKI-erzählt · ~2 min
Gut gemacht, reduziert es Latenz und Kosten; schlecht gemacht führt es zu Timeouts und Leerlauf-GPUs.
Um ein LLM im großen Maßstab bereitzustellen, müssen viele Replikate auf vielen GPUs ausgeführt werden, und der Inferenzverkehr ist stoßweise und ungleichmäßig – Eingabeaufforderungen variieren stark in Länge und Schwierigkeitsgrad. Ein Router sitzt vorne und wählt ein Ziel anhand von Signalen aus, die weitaus umfangreicher sind als beim klassischen Round-Robin. Moderne LLM-fähige Router berücksichtigen die Warteschlangentiefe, die KV-Cache-Belegung und ob ein Replikat bereits ein passendes Eingabeaufforderungspräfix (Präfix-Cache-Affinität) enthält, sodass eine Folgeanforderung dort landet, wo sich ihr Cache befindet. Einige Router wählen auch das zu verwendende Modell aus, indem sie einfache Abfragen an ein günstiges kleines Modell und schwierige Abfragen an ein großes senden (Modell-Routing). Der Lastausgleich gleicht dann den Druck über alle Replikate hinweg aus, um Hotspots zu vermeiden, Ratenbeschränkungen einzuhalten und die Tail-Latenz niedrig zu halten, während gleichzeitig der Gesamt-Goodput und die GPU-Auslastung maximiert werden.
Eine Chatbot-Plattform heftet jede Konversation an das Replikat, das ihren KV-Cache enthält, sodass Folgerunden den Präfix-Cache erreichen und schneller reagieren.
Systeme im RouteLLM-Stil senden einfache Fragen an ein kleines, günstiges Modell und eskalieren nur schwierige Fragen an ein Grenzmodell, wodurch die Kosten bei geringem Qualitätsverlust gesenkt werden.
Die Kubernetes Gateway-API-Inferenzerweiterung leitet die Routen nach Live-GPU-Warteschlangentiefe und Cache-Status weiter, statt nach einfachem Round-Robin über Pods hinweg.
LiteLLM leitet den Datenverkehr über OpenAI, Anthropic und selbst gehostete Modelle mit Fallback und ratenlimitbewusstem Ausgleich weiter, wenn ein Anbieter drosselt.
Routing wird zu einer erstklassigen, erlernten Komponente. Projekte wie die Gateway API Inference Extension von Kubernetes, der Produktionsstack von vLLM und LiteLLM/Envoy-basierte Router standardisieren die Cache- und kostenbewusste Planung. Erwarten Sie mehr semantisches und schwierigkeitsbasiertes Modell-Routing (RouteLLM-Stil), SLA-gesteuerte Prioritätswarteschlangen, Erkennung mehrerer Regionen und Spot-Instanzen sowie durch Verstärkung erlernte Richtlinien, die Latenz, Durchsatz und Dollarkosten in Echtzeit ausgleichen, wenn sich Modelle, Preise und Datenverkehr ändern.
Kostenloser Newsletter
Drei verifizierte KI-Geschichten jeden Werktagmorgen, in einfachem Englisch geschrieben. Für immer kostenlos, keine Werbung.
Eine E‑Mail jeden Werktag. Abmelden mit einem Klick. Wir verkaufen oder teilen Ihre Adresse nie.
Testen Sie sich selbst
Sofortiges Feedback zu jeder Antwort und ein teilbares Zertifikat mit verifizierbarer ID, sobald Sie einen Kurs bestanden haben.
Unterstützen Sie kostenlose KI-Bildung. AI Understanding ist eine 501(c)(3) gemeinnützige Organisation – keine Werbung, keine Paywall, nie. Machen Sie eine Spende
Die Kontrollschicht, die entscheidet, welches Modellreplikat, welche GPU oder welches Backend jede eingehende LLM-Anfrage verarbeiten soll und wie der Datenverkehr verteilt wird, damit kein einzelner Server überlastet wird. Gut gemacht, reduziert es Latenz und Kosten; Wenn dies schlecht gemacht wird, kommt es zu Zeitüberschreitungen und inaktiven GPUs.
LLM-Anfragen unterscheiden sich stark in Länge/Kosten, und der KV-Cache eines Replikats sorgt für Sticky-Sitzungen, sodass beim blinden Wechseln von Backends die Cache-Affinität und die tatsächliche Auslastung ignoriert werden.
Wenn ein Replikat bereits den KV-Cache für ein gemeinsam genutztes Präfix enthält, wird beim Weiterleiten der Folgemaßnahmen dorthin dieser Cache wiederverwendet, anstatt ihn neu zu berechnen, wodurch Rechenleistung und Latenz gespart werden.
Modellrouter wie RouteLLM senden einfache Abfragen an ein günstiges kleines Modell und reservieren teure Frontier-Modelle für harte Modelle, wodurch die Kosten bei minimalem Qualitätsverlust gesenkt werden.
Echte Backend-Telemetrie – ausstehende Token, Stapelfülle, Cache-Belegung – spiegelt die tatsächliche Auslastung weitaus besser wider als einfache Anforderungszahlen.
LiteLLM fungiert als Routing-Proxy zwischen Anbietern (OpenAI, Anthropic, selbst gehostet) und fügt Fallback und ratenlimitbewussten Ausgleich hinzu.
Lerne weiter
Weitere Leitfäden zu diesem Thema ausgewählt
Als nächstesNächster Leitfaden
Seldon-Kern- und Inferenzdiagramme
Technisch