가이드 연계 퀴즈 · 하드 레벨

집단소통과 NCCL 퀴즈

전체 축소, 전체 수집, 브로드캐스트 및 분산 축소 역할, NCCL ID, 네트워크 오프로드 및 소규모 합계 축소 예시를 테스트합니다.

관련 가이드 경로집단소통과 NCCL
질문 1 의 8

분산 훈련에서 전체 감소 작업은 무엇을 달성합니까?

모든 질문 미리보기8 질문

퀴즈를 풀면 정답과 설명이 나타납니다.

  1. 분산 훈련에서 전체 감소 작업은 무엇을 달성합니까?
    • 모든 GPU의 값을 결합하고 모든 GPU에 결합된 결과를 제공합니다.
    • 하나의 GPU에서 중복된 데이터를 삭제합니다.
    • 전력을 절약하기 위해 GPU 클럭 속도를 줄입니다.
    • 모든 GPU의 데이터를 단일 스토리지 디스크로 보냅니다.
  2. NCCL이라는 약어는 무엇을 의미합니까?
    • 신경 컴퓨팅 클러스터 계층
    • 네트워크 캐시 제어 논리
    • NVIDIA 집단 커뮤니케이션 라이브러리
    • 숫자 컨볼루션 컴퓨팅 라이브러리
  3. Why can chunked ring communication be useful for a large tensor?
    • It guarantees constant latency for any number of devices
    • Chunks can be streamed across participating links instead of waiting for one monolithic transfer
    • It makes topology irrelevant
    • It prevents all network contention
  4. 각 GPU의 데이터 조각을 모든 GPU가 보유하는 전체 복사본으로 수집하는 집합 작업은 무엇입니까?
    • 방송
    • 산란 감소
    • 장벽
    • 모두 모아
  5. What does a supported network reduction offload such as SHARP do?
    • Guarantee exactly half the traffic for every collective
    • Remove the need for participating ranks
    • Perform some reduction work in compatible network hardware
    • Turn all-gather into a local memory copy
  6. NCCL은 일반적으로 서버(노드) 간의 통신에 어떤 상호 연결을 사용합니까?
    • InfiniBand 또는 RoCE
    • USB 케이블
    • PCIe 슬롯만
    • Wi-Fi
  7. Three ranks contribute scalar values 2, 3 and 5 to a sum all-reduce. What value does each receive?
    • Only its own original value
    • 3 for the middle rank and nothing elsewhere
    • The average 3.33 unless requested separately
    • 10
  8. Which collective combines contributions but distributes reduced pieces instead of the entire reduced buffer to every rank?
    • 모두 모아
    • 산란 감소
    • 방송
    • A standalone model checkpoint