Quiz collegato alla guida · Medio Livello

Quiz sulla scelta di una GPU per l'apprendimento automatico

Associa memoria, larghezza di banda, calcolo, interconnessione e supporto software della GPU a un carico di lavoro di addestramento o inferenza definito. per l'impostazione di deployment di destinazione.

Domanda 1 di 8

Cosa determina se lo stato di lavoro di un modello si adatta su una GPU?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Cosa determina se lo stato di lavoro di un modello si adatta su una GPU?
    • Pesi, gradienti e attivazioni da soli, indipendentemente dalla cache di inferenza
    • Pico di FLOPs rispetto al conteggio dei parametri del modello
    • Memoria disponibile rispetto a pesi, attivazioni, stato dell'ottimizzatore e cache
    • Larghezza di banda della memoria rispetto al tasso di input del modello
  2. Come differisce la larghezza di banda di memoria dalla capacità di memoria?
    • Entrambi i termini descrivono il numero di byte installati
    • La larghezza di banda misura il tasso di trasferimento dati; la capacità misura quanto può contenere
    • La capacità misura la velocità di trasferimento; la larghezza di banda misura la dimensione di archiviazione
    • Larghezza di banda e capacità sono entrambe FLOPs teorici
  3. Quando l'interconnessione può diventare importante nell'addestramento multi-GPU?
    • Quando una GPU elabora un carico di lavoro senza scambiare dati con GPU peer
    • Solo quando i dati vengono letti per la prima volta dallo storage host prima dell'addestramento
    • Quando ogni strato del modello si adatta a un dispositivo e non avviene alcun trasferimento peer
    • Quando i worker scambiano gradienti, attivazioni o partizioni del modello
  4. Perché verificare il supporto del framework e del driver prima di scegliere l'hardware?
    • Un dispositivo potrebbe non avere kernel compatibili o ottimizzati nello stack software attuale
    • I FLOPs di picco garantiscono che ogni operatore del modello utilizzi il percorso più veloce
    • Il supporto del framework è indipendente dalle versioni di driver e runtime
    • Una GPU rende ogni formato di precisione altrettanto veloce
  5. Quale confronto di benchmark è più informativo?
    • Usa lo stesso modello ma con precisioni e dimensioni di batch diverse su ogni GPU
    • Confronta i valori di picco delle schede prodotto per diversi formati aritmetici
    • Confronta lo stesso modello, precisione, carico di lavoro e obiettivo di latenza su ciascun candidato
    • Confronta lo stesso modello a lunghezze di sequenza e tassi di richiesta diversi
  6. Cosa può limitare la decodifica autoregressiva batch‑one di LLM dopo il caricamento dei pesi?
    • Stato dell’ottimizzatore di addestramento e dimensione del dataset completo dopo il caricamento dei pesi
    • La larghezza di banda di memoria e la capacità della cache KV possono limitare la decodifica batch‑one
    • Il numero di richieste concorrenti non ha alcun impatto una volta che i pesi del modello si adattano
    • Il motore di inferenza elimina tutto il traffico di memoria dopo il caricamento del modello
  7. Perché una GPU ad alta capacità di picco scala male su più dispositivi?
    • Aggiungere GPU aumenta automaticamente l'efficienza di scaling lineare
    • Le specifiche dei FLOP di picco includono i costi di comunicazione tra GPU
    • L'addestramento non sincronizza mai lo stato del modello o del gradiente
    • La comunicazione o la sincronizzazione può dominare il calcolo utile
  8. Cosa dovrebbe guidare la selezione finale dell'hardware?
    • Usa le prestazioni misurate del carico di lavoro end-to-end e il costo totale
    • Scegli in base al throughput di picco per una precisione che il carico di lavoro non può utilizzare
    • Scegli in base alla capacità nominale senza overhead di memoria a runtime
    • Scegli in base al throughput misurato a un diverso obiettivo di latenza