Quiz collegato alla guida · Medio Livello

Quiz sul routing dell'inferenza LLM e sul bilanciamento del carico

Controlla il routing di repliche e modelli, l'affinità della cache, la telemetria in tempo reale, il costo variabile dei token e il goodput sensibile alla latenza per l'inferenza LLM.

Domanda 1 di 8

Perché il semplice round robin è spesso una strategia di bilanciamento del carico inadeguata per l'inferenza LLM?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Perché il semplice round robin è spesso una strategia di bilanciamento del carico inadeguata per l'inferenza LLM?
    • Le richieste variano enormemente in termini di costi e le repliche contengono cache KV permanenti
    • È illegale nella maggior parte dei paesi
    • Il round robin funziona solo per i database
    • Richiede una GPU per funzionare
  2. Che cosa sta cercando di ottenere il routing "affinità prefisso-cache"?
    • Invio di ciascuna richiesta a una GPU casuale
    • Instradare una richiesta alla replica che ha già memorizzato nella cache il prefisso del prompt
    • Crittografia del prompt prima dell'invio
    • Compressione dei pesi del modello
  3. Nel routing del modello basato sulla difficoltà, cosa succede in genere a una query semplice?
    • Viene rifiutato
    • Viene inviato al modello più grande disponibile
    • Viene inviato a un modello piccolo ed economico
    • È in coda per 24 ore
  4. Quale segnale live è più utile per un sistema di bilanciamento del carico compatibile con LLM?
    • La lunghezza del nome host del server
    • Il colore del rack
    • Solo il fuso orario dell'utente
    • Profondità della coda e occupazione della cache KV di ciascuna replica
  5. Cosa offre uno strumento come LiteLLM in una configurazione multi-provider?
    • Un unico proxy che bilancia ed esegue il failover tra molti fornitori di modelli
    • Una nuova architettura del trasformatore
    • Un sistema di raffreddamento della GPU
    • Un sostituto del tokenizzatore
  6. Perché una richiesta di output lungo può superare molte richieste brevi per il bilanciamento?
    • Gli output lunghi non utilizzano risorse
    • Ogni token di output costa un passaggio in avanti completo, quindi il caricamento totale dei token conta più del conteggio delle richieste
    • Le richieste brevi sono sempre più lente
    • Il router non riesce a vedere la lunghezza dell'output
  7. A serving system reports goodput rather than raw request count. What does goodput usually emphasize?
    • Il numero totale di parametri del modello
    • Only the number of HTTP connections opened
    • Requests served while meeting the specified latency or service-level targets
    • The fraction of requests that use the largest model
  8. A gateway first chooses a small or large model, then chooses a replica of that model. What are these two decisions?
    • Tokenization followed by decoding
    • Training followed by fine-tuning
    • Prefill followed by prompt construction
    • Model routing followed by replica load balancing