SmoothQuant 및 활성화 양자화 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. SmoothQuant는 정밀도가 낮은 추론에서 구체적으로 어떤 문제를 해결합니까?
   • 활성화 채널의 극단적인 이상값
   • 너무 작아서 표현할 수 없는 가중치
   • 역전파 중 그래디언트 소멸
   • 토큰 어휘 크기 제한
2. SmoothQuant는 어떻게 활성화를 더 쉽게 양자화할 수 있도록 합니까?
   • 고정된 임계값을 초과하는 모든 활성화를 클립합니다.
   • 활성화를 축소하고 동일한 요소로 가중치를 높여 난이도를 마이그레이션합니다.
   • 8비트로 모델을 처음부터 끝까지 다시 학습시킵니다.
   • 활성화를 부동 소수점으로만 변환합니다.
3. W8A8 표기법은 무엇을 의미합니까?
   • 8개의 웨이트 레이어와 8개의 어텐션 헤드
   • 8의 가중치 감소 및 8의 알파
   • 8비트 가중치 및 8비트 활성화
   • 워커 8명과 액셀러레이터 8명
4. SmoothQuant의 스케일링이 본질적으로 런타임 오버헤드를 추가하지 않는 이유는 무엇입니까?
   • 별도의 전용 GPU에서 실행됩니다.
   • 훈련 중에만 적용되며 추론은 적용되지 않습니다.
   • 최신 CPU는 스케일링 요소를 무시합니다.
   • 스케일은 오프라인으로 인접한 분동 또는 융합 작업에 흡수됩니다.
5. SmoothQuant에서 알파 하이퍼파라미터는 어떤 역할을 합니까?
   • 활성화에서 가중치로 이상값 부담이 이동하는 정도를 제어합니다.
   • 미세 조정을 위한 학습 속도를 설정합니다.
   • 양자화 비트 수를 결정합니다.
   • 어떤 관심을 잘라낼지 선택합니다.
6. What result did the SmoothQuant paper report for its evaluated W8A8 large-language-model deployments?
   • A guaranteed 10× speedup on every GPU
   • About 1.56× speedup and roughly 2× memory savings with near-full-precision accuracy
   • No runtime or memory benefit
   • A 50% accuracy drop in every tested model
7. Why does multiplying activation channels by 1/s and corresponding weights by s preserve a linear layer’s product?
   • The output is rounded to the nearest class
   • The model replaces multiplication with addition
   • The reciprocal scale factors cancel in the activation-weight multiplication
   • The weights are set to zero after scaling
8. In SmoothQuant’s scale formula, what does increasing alpha generally do to outlier handling?
   • It removes the model’s weight matrices
   • It turns W8A8 into W16A16
   • It eliminates all quantization error
   • It shifts more scaling burden away from activations and onto weights