Kvíz spojený s průvodcem · Střední úroveň

Kvíz o propojení NVLink a GPU

Recenze GPU scale-up propojení, NVSwitch fabrics, kolektivní komunikace a rozdíl mezi rackovými linkami a clusterovými sítěmi.

Související vodicí cestyPropojení Nvlink a GPU
Otázka 1 z 8

Proč jsou pro velké modely AI potřeba vysokorychlostní propojení, jako je NVLink?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Proč jsou pro velké modely AI potřeba vysokorychlostní propojení, jako je NVLink?
    • Protože největší modely jsou rozděleny mezi mnoho GPU, které si musí neustále vyměňovat data
    • Protože jeden GPU vždy stačí, ale je osamělý
    • Protože GPU se potřebují připojit k tiskárnám
    • Protože modely jsou uloženy na samotném propojení
  2. Jakou výhodu nabízí NVLink oproti standardní sběrnici PCIe pro komunikaci GPU-GPU?
    • Je to pomalejší, ale levnější
    • Mnohem vyšší šířka pásma a nižší latence
    • Funguje pouze mezi GPU a CPU
    • Odstraňuje potřebu jakékoli paměti
  3. Jaká je role NVSwitch v multi-GPU serveru?
    • Chladí GPU pomocí ventilátorů
    • Ukládá operační systém
    • Funguje jako vysokorychlostní příčka, takže každý GPU může dosáhnout každého druhého v plné šířce pásma
    • Převádí energii ze zásuvky
  4. Který kolektivní provoz, běžný v distribuovaném školení, silně těží z rychlého propojení?
    • Defragmentace pevného disku
    • Vykreslování jednoho pixelu
    • Kompilace zdrojového kódu
    • All-reduce, která sčítá gradienty napříč GPU
  5. Jaké technologie kromě jediného serveru obvykle spojují tisíce uzlů GPU do jednoho clusteru?
    • InfiniBand a RDMA-over-Ethernet
    • USB kabely a Wi-Fi
    • Bluetooth a HDMI
    • Vytáčené modemy
  6. Čeho dosahuje rackový systém, jako je NVIDIA NVL72?
    • Je to jeden GPU v malé krabičce
    • Propojuje desítky GPU do jedné jednotné domény NVLink
    • Nahrazuje veškerý software hardwarem
    • Je to druh chladicí kapaliny
  7. Why can a fast GPU fabric improve distributed data-parallel training?
    • It removes the need to compute gradients
    • It converts training into a database lookup
    • It can reduce the time spent exchanging gradients in collectives such as all-reduce
    • It prevents GPUs from synchronizing
  8. How does an NVLink scale-up fabric differ from InfiniBand or Ethernet used across a cluster?
    • NVLink is only a file format
    • InfiniBand runs inside a GPU’s tensor core
    • Ethernet is used only for local memory access
    • NVLink connects GPUs within supported systems or rack domains; InfiniBand and Ethernet commonly connect cluster nodes