모델 양자화 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 모델을 양자화하면 주로 무엇을 줄일 수 있나요?
   • 가중치와 활성화 값을 저장하는 데 사용되는 수치 정밀도
   • 네트워크의 레이어 수
   • 모델이 구축된 학습 데이터세트
   • 모델이 이해할 수 있는 언어
2. Ignoring scale metadata and other runtime tensors, what is the weight-payload ratio from sixteen bits to four bits per weight?
   • The payload is unchanged
   • It is one hundredth of the original payload
   • The four-bit payload is one quarter of the sixteen-bit payload
   • The payload becomes four times larger
3. 공격적인 낮은 비트 양자화의 주요 단점은 무엇입니까?
   • 모델은 학습 언어를 잊어버립니다.
   • 값이 더 적은 수의 버킷에 압축됨에 따라 정확도가 손실될 수 있음
   • 슈퍼컴퓨터에서만 실행 가능
   • 레이어를 영구적으로 삭제합니다.
4. 양자화 인식 훈련은 훈련 후 양자화와 어떻게 다릅니까?
   • 데이터가 전혀 필요하지 않습니다
   • 이미지에서만 작동합니다.
   • 시간이 지남에 따라 비트 수가 증가합니다.
   • 훈련 중에 반올림을 시뮬레이션하여 모델이 낮은 정밀도를 허용하는 방법을 학습합니다.
5. 4비트 양자화를 사용하여 하나의 GPU에서 대규모 모델을 저렴하게 미세 조정하는 기술은 무엇입니까?
   • 탈락
   • 일괄 정규화
   • QLoRA
   • 토큰화
6. 채널별 또는 그룹별 확장이 양자화된 모델에 도움이 되는 이유는 무엇입니까?
   • 정밀도를 유지하기 위해 가중치 행렬의 조각에 별도의 스케일링 인자를 할당합니다.
   • 가중치가 필요하지 않습니다.
   • 모델을 더 크게 만듭니다.
   • 텍스트를 오디오로 변환합니다.
7. A four-bit model’s raw weights fit in available VRAM, but serving fails out of memory. What could explain this?
   • Every four-bit weight expands permanently to a gigabyte
   • Quantization guarantees no runtime allocations
   • Only the model’s filename consumes the remaining memory
   • Caches, scales, unquantized tensors, or workspace need additional memory
8. A team quantizes to INT8 but sees no inference speedup. What should it check?
   • Whether the training data are alphabetized
   • Whether the workload uses efficient supported kernels on its hardware
   • Whether lower bit width always guarantees faster execution
   • Whether the model must have changed languages