가이드 연계 퀴즈 · 하드 레벨

완전히 샤딩된 데이터 병렬 퀴즈

대규모 분산 모델 교육에서 FSDP 샤딩, 전체 수집 및 분산 감소, 통신 중복, 메모리 대 네트워크 균형을 다룹니다.

관련 가이드 경로완전히 샤딩된 데이터 병렬
질문 1 의 8

표준 데이터 병렬 처리가 수행하지 않는 GPU 전반에 걸쳐 FSDP 샤딩은 무엇입니까?

모든 질문 미리보기8 질문

퀴즈를 풀면 정답과 설명이 나타납니다.

  1. 표준 데이터 병렬 처리가 수행하지 않는 GPU 전반에 걸쳐 FSDP 샤딩은 무엇입니까?
    • 매개변수, 기울기 및 최적화 상태
    • 입력 배치만
    • 학습률 일정만
    • 디스크의 학습 데이터세트 파일
  2. FSDP는 레이어를 계산하기 직전에 레이어의 전체 가중치를 재구성하기 위해 어떤 집합적 작업을 사용합니까?
    • 방송 전용
    • 모두 모아
    • 분산
    • 장벽
  3. FSDP가 레이어 계산 직후에 수집된 전체 가중치를 해제하는 이유는 무엇입니까?
    • 사용하지 않는 그라디언트를 손상시키려면
    • 더 느린 훈련 루프를 강제하려면
    • 영구 메모리 공간을 장치당 하나의 샤드로 유지하려면
    • PyTorch가 무작위로 삭제하기 때문에
  4. FSDP는 어떤 초기 메모리 최적화 접근 방식에서 크게 영감을 얻었습니까?
    • Google의 맵리듀스
    • Apache Spark RDD
    • NVIDIA의 CUDA 코어
    • Microsoft의 ZeRO(Zero Redundancy Optimizer)
  5. FSDP는 가중치 수집에서 네트워크 대기 시간의 상당 부분을 어떻게 숨깁니까?
    • 통신과 계산을 중첩하여 다음 레이어의 매개변수를 미리 가져옵니다.
    • 역방향 패스를 비활성화하여
    • 가중치를 1비트로 압축하여
    • CPU로만 훈련함으로써
  6. 역방향 패스에서 결합된 그래디언트 슬라이스를 소유 GPU에 다시 배포하는 집합 연산은 무엇입니까?
    • 전체 복제
    • 산란 감소
    • 단일 GPU 사본
    • 수집 전용
  7. Why can fully sharding state lower persistent per-GPU memory compared with replicated data parallelism?
    • It removes all model parameters during training
    • It converts optimizer states into network requests
    • Each rank stores a shard of model state instead of a full copy
    • It places every activation permanently on the CPU
  8. What is a central systems tradeoff in FSDP?
    • Lower memory and no communication at any point
    • More replicated parameters in exchange for fewer data samples
    • Replacing training with inference
    • Lower per-device memory use in exchange for collective communication