Quiz collegato alla guida · Medio Livello
Quiz sul routing dell'inferenza LLM e sul bilanciamento del carico
Controlla il routing di repliche e modelli, l'affinità della cache, la telemetria in tempo reale, il costo variabile dei token e il goodput sensibile alla latenza per l'inferenza LLM.
Domanda 1 di 8
Perché il semplice round robin è spesso una strategia di bilanciamento del carico inadeguata per l'inferenza LLM?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Perché il semplice round robin è spesso una strategia di bilanciamento del carico inadeguata per l'inferenza LLM?
- Le richieste variano enormemente in termini di costi e le repliche contengono cache KV permanenti
- È illegale nella maggior parte dei paesi
- Il round robin funziona solo per i database
- Richiede una GPU per funzionare
- Che cosa sta cercando di ottenere il routing "affinità prefisso-cache"?
- Invio di ciascuna richiesta a una GPU casuale
- Instradare una richiesta alla replica che ha già memorizzato nella cache il prefisso del prompt
- Crittografia del prompt prima dell'invio
- Compressione dei pesi del modello
- Nel routing del modello basato sulla difficoltà, cosa succede in genere a una query semplice?
- Viene rifiutato
- Viene inviato al modello più grande disponibile
- Viene inviato a un modello piccolo ed economico
- È in coda per 24 ore
- Quale segnale live è più utile per un sistema di bilanciamento del carico compatibile con LLM?
- La lunghezza del nome host del server
- Il colore del rack
- Solo il fuso orario dell'utente
- Profondità della coda e occupazione della cache KV di ciascuna replica
- Cosa offre uno strumento come LiteLLM in una configurazione multi-provider?
- Un unico proxy che bilancia ed esegue il failover tra molti fornitori di modelli
- Una nuova architettura del trasformatore
- Un sistema di raffreddamento della GPU
- Un sostituto del tokenizzatore
- Perché una richiesta di output lungo può superare molte richieste brevi per il bilanciamento?
- Gli output lunghi non utilizzano risorse
- Ogni token di output costa un passaggio in avanti completo, quindi il caricamento totale dei token conta più del conteggio delle richieste
- Le richieste brevi sono sempre più lente
- Il router non riesce a vedere la lunghezza dell'output
- A serving system reports goodput rather than raw request count. What does goodput usually emphasize?
- Il numero totale di parametri del modello
- Only the number of HTTP connections opened
- Requests served while meeting the specified latency or service-level targets
- The fraction of requests that use the largest model
- A gateway first chooses a small or large model, then chooses a replica of that model. What are these two decisions?
- Tokenization followed by decoding
- Training followed by fine-tuning
- Prefill followed by prompt construction
- Model routing followed by replica load balancing