Quiz collegato alla guida · Difficile Livello

Quiz su Multi-Model Serving e Model Multiplexing

Bilancia l'utilizzo del modello condiviso con routing, caricamento on-demand, caching, eviction, limiti di memoria della GPU e isolamento dei tenant.

Percorsi guida correlatiServizio multimodello e multiplexing
Domanda 1 di 8

Che cosa consente comunemente di fare il multiplexing di modelli a un lavoratore di servizio condiviso?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Che cosa consente comunemente di fare il multiplexing di modelli a un lavoratore di servizio condiviso?
    • Mantieni ogni modello tenant caricato in modo permanente prima di qualsiasi richiesta
    • Scegli un modello solo dopo aver ignorato l'identità della richiesta
    • Carica o seleziona il modello o l'adattatore richiesto quando necessario
    • Addestrare tutti i modelli tenant come parte di ogni richiesta di inferenza
  2. Perché una cache del modello condiviso può aumentare la latenza per un modello utilizzato di rado?
    • La cache modifica le etichette di output del modello
    • Potrebbe essere necessario caricare nuovamente un modello eliminato alla richiesta successiva
    • L'eliminazione garantisce una ricarica più rapida dalla memoria del dispositivo
    • Un modello sfrattato rimane residente ma viene contrassegnato come inattivo
  3. Cosa dovrebbe fare un'API con un identificatore di modello fornito dal client?
    • Tratta l'identificatore come un percorso del filesystem fornito dal client
    • Utilizza l'identificatore per aggirare i controlli di autorizzazione
    • Supponiamo che qualsiasi artefatto nominato da un client sia compatibile
    • Risolvi l'identificatore tramite un registro convalidato o una lista consentita
  4. Quale risorsa può limitare il numero di modelli che rimangono residenti su una GPU?
    • La capacità di memoria della GPU limita i pesi residenti e lo stato di runtime
    • Il numero di nomi nello schema API imposta la memoria del dispositivo
    • Il formato dell'etichetta del set di training determina la residenza
    • Più identificatori di modello significano sempre più memoria GPU disponibile
  5. Perché una semplice politica di sfratto utilizzata meno di recente potrebbe avere scarsi risultati?
    • Conserva sempre il modello più grande indipendentemente dalla cronologia delle richieste
    • Seleziona le voci utilizzando la memoria GPU come chiave cache
    • Ignora le dimensioni del modello e il costo o la probabilità di ricarica
    • Impedisce le partenze a freddo ogni volta che un modello viene sfrattato
  6. Quali parametri aiutano a diagnosticare il comportamento del multiplexing del modello?
    • Solo il numero di nomi di modello configurati
    • Riscontri nella cache, eliminazioni, durata del caricamento e frequenza di riavvio a freddo
    • Solo perdita di allenamento per ciascun modello
    • Viene conteggiata solo la route API
  7. Cosa dovrebbe essere considerato quando si confronta il multiplexing condiviso con le repliche dedicate?
    • Confronta solo i conteggi dei file di modello tra le architetture
    • Confronta solo i nomi dei framework di inferenza
    • Confronta solo la precisione dell'allenamento
    • Confronta i modelli di domanda, l'utilizzo delle risorse, la latenza e le esigenze di isolamento
  8. Perché tenere conto delle richieste in volo prima di scaricare un modello?
    • Le richieste attive possono comunque dipendere dai pesi del modello o dallo stato di runtime
    • La rimozione di una voce di modello reindirizza automaticamente il lavoro attivo
    • Lo scaricamento aggiorna ogni schema client prima di una risposta
    • Le richieste in volo non utilizzano più il modello una volta iniziato lo sfratto