Quiz collegato alla guida · Difficile Livello
Quiz su Multi-Model Serving e Model Multiplexing
Bilancia l'utilizzo del modello condiviso con routing, caricamento on-demand, caching, eviction, limiti di memoria della GPU e isolamento dei tenant.
Domanda 1 di 8
Che cosa consente comunemente di fare il multiplexing di modelli a un lavoratore di servizio condiviso?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Che cosa consente comunemente di fare il multiplexing di modelli a un lavoratore di servizio condiviso?
- Mantieni ogni modello tenant caricato in modo permanente prima di qualsiasi richiesta
- Scegli un modello solo dopo aver ignorato l'identità della richiesta
- Carica o seleziona il modello o l'adattatore richiesto quando necessario
- Addestrare tutti i modelli tenant come parte di ogni richiesta di inferenza
- Perché una cache del modello condiviso può aumentare la latenza per un modello utilizzato di rado?
- La cache modifica le etichette di output del modello
- Potrebbe essere necessario caricare nuovamente un modello eliminato alla richiesta successiva
- L'eliminazione garantisce una ricarica più rapida dalla memoria del dispositivo
- Un modello sfrattato rimane residente ma viene contrassegnato come inattivo
- Cosa dovrebbe fare un'API con un identificatore di modello fornito dal client?
- Tratta l'identificatore come un percorso del filesystem fornito dal client
- Utilizza l'identificatore per aggirare i controlli di autorizzazione
- Supponiamo che qualsiasi artefatto nominato da un client sia compatibile
- Risolvi l'identificatore tramite un registro convalidato o una lista consentita
- Quale risorsa può limitare il numero di modelli che rimangono residenti su una GPU?
- La capacità di memoria della GPU limita i pesi residenti e lo stato di runtime
- Il numero di nomi nello schema API imposta la memoria del dispositivo
- Il formato dell'etichetta del set di training determina la residenza
- Più identificatori di modello significano sempre più memoria GPU disponibile
- Perché una semplice politica di sfratto utilizzata meno di recente potrebbe avere scarsi risultati?
- Conserva sempre il modello più grande indipendentemente dalla cronologia delle richieste
- Seleziona le voci utilizzando la memoria GPU come chiave cache
- Ignora le dimensioni del modello e il costo o la probabilità di ricarica
- Impedisce le partenze a freddo ogni volta che un modello viene sfrattato
- Quali parametri aiutano a diagnosticare il comportamento del multiplexing del modello?
- Solo il numero di nomi di modello configurati
- Riscontri nella cache, eliminazioni, durata del caricamento e frequenza di riavvio a freddo
- Solo perdita di allenamento per ciascun modello
- Viene conteggiata solo la route API
- Cosa dovrebbe essere considerato quando si confronta il multiplexing condiviso con le repliche dedicate?
- Confronta solo i conteggi dei file di modello tra le architetture
- Confronta solo i nomi dei framework di inferenza
- Confronta solo la precisione dell'allenamento
- Confronta i modelli di domanda, l'utilizzo delle risorse, la latenza e le esigenze di isolamento
- Perché tenere conto delle richieste in volo prima di scaricare un modello?
- Le richieste attive possono comunque dipendere dai pesi del modello o dallo stato di runtime
- La rimozione di una voce di modello reindirizza automaticamente il lavoro attivo
- Lo scaricamento aggiorna ogni schema client prima di una risposta
- Le richieste in volo non utilizzano più il modello una volta iniziato lo sfratto