Quiz collegato alla guida · Medio Livello
Quiz sulla scelta di una GPU per l'apprendimento automatico
Associa memoria, larghezza di banda, calcolo, interconnessione e supporto software della GPU a un carico di lavoro di addestramento o inferenza definito. per l'impostazione di deployment di destinazione.
Domanda 1 di 8
Cosa determina se lo stato di lavoro di un modello si adatta su una GPU?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Cosa determina se lo stato di lavoro di un modello si adatta su una GPU?
- Pesi, gradienti e attivazioni da soli, indipendentemente dalla cache di inferenza
- Pico di FLOPs rispetto al conteggio dei parametri del modello
- Memoria disponibile rispetto a pesi, attivazioni, stato dell'ottimizzatore e cache
- Larghezza di banda della memoria rispetto al tasso di input del modello
- Come differisce la larghezza di banda di memoria dalla capacità di memoria?
- Entrambi i termini descrivono il numero di byte installati
- La larghezza di banda misura il tasso di trasferimento dati; la capacità misura quanto può contenere
- La capacità misura la velocità di trasferimento; la larghezza di banda misura la dimensione di archiviazione
- Larghezza di banda e capacità sono entrambe FLOPs teorici
- Quando l'interconnessione può diventare importante nell'addestramento multi-GPU?
- Quando una GPU elabora un carico di lavoro senza scambiare dati con GPU peer
- Solo quando i dati vengono letti per la prima volta dallo storage host prima dell'addestramento
- Quando ogni strato del modello si adatta a un dispositivo e non avviene alcun trasferimento peer
- Quando i worker scambiano gradienti, attivazioni o partizioni del modello
- Perché verificare il supporto del framework e del driver prima di scegliere l'hardware?
- Un dispositivo potrebbe non avere kernel compatibili o ottimizzati nello stack software attuale
- I FLOPs di picco garantiscono che ogni operatore del modello utilizzi il percorso più veloce
- Il supporto del framework è indipendente dalle versioni di driver e runtime
- Una GPU rende ogni formato di precisione altrettanto veloce
- Quale confronto di benchmark è più informativo?
- Usa lo stesso modello ma con precisioni e dimensioni di batch diverse su ogni GPU
- Confronta i valori di picco delle schede prodotto per diversi formati aritmetici
- Confronta lo stesso modello, precisione, carico di lavoro e obiettivo di latenza su ciascun candidato
- Confronta lo stesso modello a lunghezze di sequenza e tassi di richiesta diversi
- Cosa può limitare la decodifica autoregressiva batch‑one di LLM dopo il caricamento dei pesi?
- Stato dell’ottimizzatore di addestramento e dimensione del dataset completo dopo il caricamento dei pesi
- La larghezza di banda di memoria e la capacità della cache KV possono limitare la decodifica batch‑one
- Il numero di richieste concorrenti non ha alcun impatto una volta che i pesi del modello si adattano
- Il motore di inferenza elimina tutto il traffico di memoria dopo il caricamento del modello
- Perché una GPU ad alta capacità di picco scala male su più dispositivi?
- Aggiungere GPU aumenta automaticamente l'efficienza di scaling lineare
- Le specifiche dei FLOP di picco includono i costi di comunicazione tra GPU
- L'addestramento non sincronizza mai lo stato del modello o del gradiente
- La comunicazione o la sincronizzazione può dominare il calcolo utile
- Cosa dovrebbe guidare la selezione finale dell'hardware?
- Usa le prestazioni misurate del carico di lavoro end-to-end e il costo totale
- Scegli in base al throughput di picco per una precisione che il carico di lavoro non può utilizzare
- Scegli in base alla capacità nominale senza overhead di memoria a runtime
- Scegli in base al throughput misurato a un diverso obiettivo di latenza