À suivreGuide suivant
Seldon Core et graphiques d'inférence
Technique
GUIDE Technique
Routage d'inférence LLM et équilibrage de charge
La couche de contrôle qui décide quelle réplique de modèle, GPU ou backend doit gérer chaque requête LLM entrante et comment répartir le trafic afin qu'aucun serveur ne soit submergé.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
Bien fait, cela réduit la latence et les coûts ; mal fait que cela provoque des délais d’attente et des GPU inactifs.
Plongée profonde
Servir un LLM à grande échelle signifie exécuter de nombreuses répliques sur de nombreux GPU, et le trafic d'inférence est rafale et inégal : les invites varient énormément en longueur et en difficulté. Un routeur se place devant et choisit une destination en utilisant des signaux bien plus riches que le round-robin classique. Les routeurs modernes compatibles LLM prennent en compte la profondeur de la file d'attente, l'occupation du cache KV et si une réplique contient déjà un préfixe d'invite correspondant (affinité préfixe-cache), de sorte qu'une demande de suivi atterrit là où se trouve son cache. Certains routeurs choisissent également le modèle à utiliser : ils envoient des requêtes simples à un petit modèle bon marché et des requêtes difficiles à un grand (routage de modèle). L'équilibrage de charge égalise ensuite la pression sur les réplicas pour éviter les points chauds, respecter les limites de débit et maintenir une latence de queue faible tout en maximisant l'utilisation globale du goodput et du GPU.
Mise en œuvre dans le monde réel
Une plate-forme de chatbot épingle chaque conversation à la réplique contenant son cache KV, de sorte que les tours de suivi atteignent le cache de préfixe et répondent plus rapidement.
Les systèmes de type RouteLLM envoient des questions simples à un petit modèle bon marché et transmettent uniquement les questions difficiles à un modèle frontière, réduisant ainsi les coûts avec peu de perte de qualité.
L'extension d'inférence de l'API Kubernetes Gateway achemine en fonction de la profondeur de la file d'attente du GPU en direct et de l'état du cache au lieu d'un simple tourniquet entre les pods.
LiteLLM proxy le trafic sur OpenAI, Anthropic et les modèles auto-hébergés avec un repli et un équilibrage tenant compte des limites de débit lorsqu'un fournisseur limite.
L'avenir du routage d'inférence LLM et de l'équilibrage de charge
Le routage devient une composante apprise de premier ordre. Des projets tels que l'extension d'inférence API Gateway de Kubernetes, la pile de production de vLLM et les routeurs basés sur LiteLLM/Envoy standardisent la planification tenant compte du cache et des coûts. Attendez-vous à un routage de modèles plus sémantique et basé sur la difficulté (style RouteLLM), à des files d'attente prioritaires basées sur les SLA, à une prise en compte de plusieurs régions et d'instances ponctuelles, ainsi qu'à des politiques apprises par renforcement qui équilibrent la latence, le débit et le coût en dollars en temps réel à mesure que les modèles, les prix et l'évolution du trafic.
Le mettre en pratique
Pourquoi c'est important
- Coût et budget. Les décisions en matière d'architecture déterminent les performances et les coûts d'exploitation pendant des années.
- Décisions plus claires. La formation technique aide les équipes à choisir la bonne pile, pas seulement la plus récente.
- Contrôle qualité. De meilleurs choix d’ingénierie réduisent les incidents de fiabilité en production.
Attention à
- L’optimisation d’un benchmark peut masquer des faiblesses plus larges du système.
- Les coûts d’infrastructure et de maintenance sont souvent sous-estimés.
- Les lacunes en matière de sécurité et d’observabilité peuvent se creuser à mesure que les systèmes deviennent plus complexes.
Prochaines étapes
- Définissez les objectifs de latence, de qualité et de coût avant la mise en œuvre.
- Benchmark dans des conditions de charge et de données réalistes.
- Surveillance des instruments pour détecter les erreurs, la dérive et l'impact sur l'utilisateur.
- Préparez les chemins de restauration et de réponse aux incidents avant la mise à l’échelle.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the LLM Inference Routing and Load Balancing quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
Qu’est-ce que le routage par inférence et l’équilibrage de charge des LLM ?
La couche de contrôle qui décide quelle réplique de modèle, GPU ou backend doit gérer chaque requête LLM entrante et comment répartir le trafic afin qu'aucun serveur ne soit submergé. Bien fait, cela réduit la latence et les coûts ; mal fait, cela provoque des délais d'attente et des GPU inactifs.
Pourquoi le round-robin simple est-il souvent une mauvaise stratégie d'équilibrage de charge pour l'inférence LLM ?
Les requêtes LLM diffèrent énormément en termes de longueur/coût, et le cache KV d'une réplique rend les sessions collantes, de sorte que les backends cycliques aveuglément ignorent l'affinité du cache et la charge réelle.
Qu'est-ce que le routage « affinité préfixe-cache » tente d'atteindre ?
Si une réplique contient déjà le cache KV pour un préfixe partagé, le routage du suivi à cet endroit réutilise ce cache au lieu de le recalculer, économisant ainsi le calcul et la latence.
Dans le routage de modèles basé sur la difficulté, qu'arrive-t-il généralement à une requête simple ?
Les routeurs modèles comme RouteLLM envoient des requêtes simples à un petit modèle bon marché et réservent les modèles frontières coûteux aux plus difficiles, réduisant ainsi les coûts avec une perte de qualité minimale.
Quel signal en direct est le plus utile pour un équilibreur de charge compatible LLM ?
La véritable télémétrie backend (jetons en attente, remplissage des lots, occupation du cache) reflète bien mieux la charge réelle que le simple décompte des requêtes.
Que fournit un outil comme LiteLLM dans une configuration multi-fournisseurs ?
LiteLLM agit comme un proxy de routage entre les fournisseurs (OpenAI, Anthropic, auto-hébergé), ajoutant un équilibrage de secours et tenant compte des limites de débit.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet