GPU 메모리 관리 및 조각화 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. GPU 메모리 조각화란 무엇입니까?
   • GPU가 물리적으로 분리되는 경우
   • 모델에 레이어가 너무 많은 경우
   • 두 개의 GPU가 결과에 동의하지 않는 경우
   • 여유 메모리가 큰 연속 요청을 충족하기에는 너무 작은 흩어진 청크로 분할되는 경우
2. PyTorch와 같은 프레임워크가 캐싱 메모리 할당자를 사용하는 이유는 무엇입니까?
   • 모델을 보다 정확하게 만들기 위해
   • 풀링된 메모리 블록을 재사용하여 느린 직접 드라이버 할당/해제 호출을 방지하려면
   • 가중치를 암호화하려면
   • 필요한 GPU 수를 하나로 줄이려면
3. A CUDA allocation fails despite apparently unused reserved memory. What should a developer investigate?
   • Whether fragmentation is proven by the error alone
   • Whether all live tensors have already been freed
   • Whether inactive split blocks or other allocations explain the failure
   • Whether changing the learning rate releases GPU memory
4. Which PyTorch allocator option can be tested for changing-size workloads that leave unused memory slivers?
   • Expandable segments in the allocator configuration
   • Increasing every tensor dimension
   • Disabling the GPU cooling system
   • Increasing the optimizer learning rate
5. vLLM의 PagedAttention은 추론 중에 메모리 낭비를 줄이기 위해 무엇을 관리합니까?
   • 모델의 훈련 데이터
   • 고정 크기 페이지를 사용하는 주의 키-값(KV) 캐시
   • GPU의 클럭 속도
   • 로그의 글꼴 크기
6. 메모리 부족 오류를 방지하기 위해 활성화 메모리를 줄이는 기술은 무엇입니까?
   • 더 많은 레이어 추가
   • 더 긴 학습 속도 준비 사용
   • 그라데이션 체크포인트(재계산)
   • 더 많은 체크포인트를 디스크에 저장
7. A live CUDA tensor still has Python references. Will empty_cache release that tensor’s allocation?
   • No; it releases unused cached memory rather than live tensor storage
   • Yes; it deletes every referenced tensor
   • Yes; it moves the tensor automatically to NVMe
   • Only if the tensor contains zero values
8. PyTorch reports reserved memory greater than allocated memory. What distinction explains the gap?
   • Reserved memory measures only CPU RAM
   • Allocated memory includes every process on the GPU
   • The difference directly proves a model accuracy error
   • The allocator can retain cached blocks beyond memory currently used by tensors