Útmutatóhoz kapcsolódó kvíz · Kemény Szint

Tenzor párhuzamosság nagy modellekhez kvíz

Checks how tensor parallelism shards layer matrices, combines partial outputs, splits attention heads and fits into multi-axis parallelism.

Kapcsolódó útmutató utakTenzor párhuzamosság nagy modellekhez
kérdés 1 -ból 8

Mi osztja fel a tenzorpárhuzamot a GPU-k között?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mi osztja fel a tenzorpárhuzamot a GPU-k között?
    • A súlymátrixok egyetlen rétegen belül
    • A teljes rétegek külön GPU-kon vannak elhelyezve
    • Különböző edzési adatkészletek
    • Az optimalizáló tanulási sebessége
  2. A Megatron-stílusú MLP-felosztásban hogyan van a két súlymátrix particionálva a kommunikáció minimalizálása érdekében?
    • Mindkettő oszloposan
    • Az első oszloponként, a második soronként
    • Mindkettő soronként
    • Egyáltalán nincsenek particionálva
  3. Miért tartják általában a tenzorpárhuzamot egyetlen csomóponton belül?
    • A csomópontok nem tudnak GPU-kat futtatni
    • A különböző csomópontokban lévő GPU-k különböző matematikai módszereket használnak
    • Gyakori nagy sávszélességű kommunikációra van szüksége, amelyet az NVLink szolgál ki a legjobban
    • Ez törvényi előírás
  4. Hogyan történik a figyelemmechanizmus jellemzően párhuzamosítása tenzorpárhuzamban?
    • Azáltal, hogy minden GPU-nak redundánsan megadja a teljes figyelmet
    • A figyelem teljes kihagyásával
    • A figyelmet konvolúcióvá alakítva
    • Figyelemfelkeltő fejek közötti felosztással minden GPU egy részhalmazt kezel
  5. Milyen gyűjtőművelet kombinálja általában a parciális eredményeket tenzorpárhuzamban?
    • Mindent csökkentő
    • Egy fájl másolata
    • Adatbázis csatlakozás
    • DNS-keresés
  6. Hogyan illeszkedik a tenzorpárhuzam általában a „3D-s párhuzamossághoz”?
    • A párhuzamosság minden más formáját felváltja
    • Csővezetékekkel és adatpárhuzamokkal kombinálva
    • Csak minden egyéb párhuzamosság nélkül működik
    • Kizárólag képmodellek esetén használható
  7. After the row-wise partition of an MLP’s second matrix, why must GPUs combine partial outputs?
    • The GPUs each hold a different optimizer
    • The result is a vocabulary probability that must be sorted
    • Each GPU computed a partial contribution to the same output, so the pieces must be summed
    • The model needs to average separate datasets
  8. Why can interconnect latency limit tensor-parallel scaling across distant nodes?
    • Tensor parallelism never communicates between GPUs
    • The attention mask must be copied after every token
    • Every GPU trains a separate model
    • Collectives are required repeatedly within layers, so communication latency accumulates