체크포인트 샤딩 및 재개 가능한 교육 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 대형 모델 체크포인트가 샤드로 분할되는 이유는 무엇입니까?
   • 작은 입력으로 모델 학습 속도를 높이려면
   • 사용자에게 모델 가중치를 숨기려면
   • 샤딩을 하면 정확성이 향상되기 때문입니다.
   • 하나의 파일이나 시스템이 효율적으로 처리하기에는 단일 체크포인트가 너무 클 수 있기 때문입니다.
2. Which extra state is typically needed for training resumption beyond model weights?
   • 최종 정확도 점수만
   • Optimizer and scheduler state, step progress, RNG state, and relevant data-loader progress
   • Only a model-weight shard index
   • A screenshot of the training dashboard
3. 장기 직업에 대한 재개 가능한 교육의 주요 이점은 무엇입니까?
   • 검증 세트가 필요하지 않습니다.
   • 모델이 과적합되지 않음을 보장합니다.
   • 충돌이나 선점으로 인해 처음부터 강제로 다시 시작되지는 않습니다.
   • 옵티마이저를 제거합니다.
4. In a sharded distributed checkpoint, how can ranks avoid gathering the entire state on one worker?
   • By saving their assigned local tensor shards with checkpoint metadata
   • By each emailing a full model copy
   • By deleting optimizer state before every save
   • By disabling all state serialization
5. 분할된 체크포인트에서 인덱스 파일은 어떤 역할을 합니까?
   • 사용자의 비밀번호를 저장합니다.
   • 각 매개변수 이름을 이를 포함하는 샤드 파일에 매핑합니다.
   • 데이터 세트의 이미지를 압축합니다.
   • 학습 속도를 예약합니다.
6. 모델 샤드의 안전한 메모리 매핑 로드에 일반적으로 사용되는 형식은 무엇입니까?
   • MP3
   • CSV
   • 세이프텐서
   • ZIP 전용 아카이브
7. A package contains safetensors weight shards and an index, but no optimizer state. What can it support by itself?
   • Loading model weights, without fully restoring optimizer training history
   • Guaranteed exact resumption of every interrupted run
   • Recovering the next batch position automatically
   • Reconstructing every random-number-generator state
8. A sharded checkpoint loader supports a new rank layout. What should the team verify before trusting recovery?
   • That fewer ranks guarantee identical floating-point results
   • That the weight index alone includes every application state
   • That no restart test is necessary
   • That the necessary saved state loads correctly and the resumed training step behaves as expected