가이드 연계 퀴즈 · 중간 레벨

혼합 정밀 교육 퀴즈

FP16 범위 및 손실 스케일링, bfloat16, 마스터 가중치, 자동 전송, Tensor Core 누적 및 측정된 하드웨어 종속 이득을 다룹니다.

관련 가이드 경로혼합 정밀 훈련
질문 1 의 8

In an FP16 training recipe that keeps an FP32 master weight, why retain it?

모든 질문 미리보기8 질문

퀴즈를 풀면 정답과 설명이 나타납니다.

  1. In an FP16 training recipe that keeps an FP32 master weight, why retain it?
    • 16비트에서 반올림할 수 있는 작은 가중치 업데이트의 정밀도를 유지하기 위해
    • 디스크에서 모델 파일을 더 작게 만들려면
    • GPU 없이 훈련을 허용하려면
    • 모델 매개변수를 암호화하려면
  2. FP16 훈련에서 손실 조정은 어떤 문제를 해결합니까?
    • 데이터에 과적합된 모델
    • FP16의 범위가 좁기 때문에 그라데이션이 0으로 언더플로우됨
    • 디스크 공간이 부족한 GPU
    • 디스크에서 데이터 로딩 속도가 느림
  3. bfloat16은 FP16에 비해 어떤 장점이 있나요?
    • 더 적은 총 비트를 사용합니다.
    • 숫자 대신 텍스트를 저장합니다.
    • FP32와 동일한 넓은 지수 범위를 가지므로 손실 스케일링의 필요성이 줄어듭니다.
    • CPU에서만 실행됩니다.
  4. For many supported Tensor Core matrix operations, how are partial sums commonly accumulated?
    • In integer arithmetic with no rounding
    • In text before converting to FP16
    • In FP16 only, which prevents every numerical error
    • In FP32, which reduces rounding error compared with low-precision accumulation
  5. What is a common benefit of using 16-bit values for supported training operations?
    • They can reduce tensor memory and improve throughput, with gains depending on hardware and workload
    • They guarantee higher model accuracy
    • They remove the need to compute gradients
    • They always double end-to-end training speed
  6. Which current PyTorch APIs are commonly used for automatic mixed-precision training?
    • torch.cuda.amp only, which is the recommended new namespace
    • torch.amp.autocast and, for FP16 gradient scaling, torch.amp.GradScaler
    • torch.load and torch.save
    • torch.nn.DataParallel and torch.manual_seed
  7. Why does bfloat16 often need less loss scaling than FP16?
    • It has more mantissa bits than FP32
    • It stores gradients as integers
    • It has an exponent range like FP32, so very small gradients are less likely to underflow
    • It never rounds values
  8. What does autocast do in automatic mixed precision?
    • Converts every tensor and operation to FP16 unconditionally
    • Replaces the optimizer with a different algorithm
    • Guarantees identical bitwise results to FP32
    • Selects operation dtypes so supported operations can use lower precision while others retain safer precision