Útmutatóhoz kapcsolódó kvíz · Kemény Szint
Tenzor párhuzamosság nagy modellekhez kvíz
Checks how tensor parallelism shards layer matrices, combines partial outputs, splits attention heads and fits into multi-axis parallelism.
kérdés 1 -ból 8
Mi osztja fel a tenzorpárhuzamot a GPU-k között?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mi osztja fel a tenzorpárhuzamot a GPU-k között?
- A súlymátrixok egyetlen rétegen belül
- A teljes rétegek külön GPU-kon vannak elhelyezve
- Különböző edzési adatkészletek
- Az optimalizáló tanulási sebessége
- A Megatron-stílusú MLP-felosztásban hogyan van a két súlymátrix particionálva a kommunikáció minimalizálása érdekében?
- Mindkettő oszloposan
- Az első oszloponként, a második soronként
- Mindkettő soronként
- Egyáltalán nincsenek particionálva
- Miért tartják általában a tenzorpárhuzamot egyetlen csomóponton belül?
- A csomópontok nem tudnak GPU-kat futtatni
- A különböző csomópontokban lévő GPU-k különböző matematikai módszereket használnak
- Gyakori nagy sávszélességű kommunikációra van szüksége, amelyet az NVLink szolgál ki a legjobban
- Ez törvényi előírás
- Hogyan történik a figyelemmechanizmus jellemzően párhuzamosítása tenzorpárhuzamban?
- Azáltal, hogy minden GPU-nak redundánsan megadja a teljes figyelmet
- A figyelem teljes kihagyásával
- A figyelmet konvolúcióvá alakítva
- Figyelemfelkeltő fejek közötti felosztással minden GPU egy részhalmazt kezel
- Milyen gyűjtőművelet kombinálja általában a parciális eredményeket tenzorpárhuzamban?
- Mindent csökkentő
- Egy fájl másolata
- Adatbázis csatlakozás
- DNS-keresés
- Hogyan illeszkedik a tenzorpárhuzam általában a „3D-s párhuzamossághoz”?
- A párhuzamosság minden más formáját felváltja
- Csővezetékekkel és adatpárhuzamokkal kombinálva
- Csak minden egyéb párhuzamosság nélkül működik
- Kizárólag képmodellek esetén használható
- After the row-wise partition of an MLP’s second matrix, why must GPUs combine partial outputs?
- The GPUs each hold a different optimizer
- The result is a vocabulary probability that must be sorted
- Each GPU computed a partial contribution to the same output, so the pieces must be summed
- The model needs to average separate datasets
- Why can interconnect latency limit tensor-parallel scaling across distant nodes?
- Tensor parallelism never communicates between GPUs
- The attention mask must be copied after every token
- Every GPU trains a separate model
- Collectives are required repeatedly within layers, so communication latency accumulates