GPTQ 및 AWQ 교육 후 양자화 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. '훈련 후 양자화'는 무엇을 의미하나요?
   • 전체 재훈련 없이 이미 훈련된 모델의 가중치를 압축하여 정밀도를 낮춤
   • 낮은 정밀도로 모델을 완전히 재교육
   • 배포 후 더 많은 훈련 데이터 추가
   • 모델의 매개변수 수 늘리기
2. 양자화 시 반올림 오류를 보상하기 위해 GPTQ는 어떤 정보를 사용합니까?
   • 모델의 어휘 목록
   • 교정 데이터 세트의 2차(헤세 행렬/곡률) 정보
   • 사용자의 프롬프트 기록
   • 무작위 소음
3. AWQ(활성화 인식 가중치 양자화)를 구동하는 주요 통찰력은 무엇입니까?
   • 모든 가중치는 똑같이 중요합니다.
   • 활성화는 양자화되어야 하지만 가중치는 그대로 유지됩니다.
   • 웨이트 채널의 작은 부분이 특히 중요하며 보호되어야 합니다.
   • 양자화는 사전 훈련 중에만 발생해야 합니다.
4. 16비트 가중치에 비해 4비트 양자화는 대략 얼마나 많은 메모리를 절약합니까?
   • 저축 없음
   • 메모리가 약 2배 증가
   • 정확히 절반의 메모리
   • 메모리의 약 1/4(4배 감소)
5. GPTQ와 AWQ가 일반적으로 가중치를 양자화하지만 활성화를 더 높은 정밀도로 유지하는 이유는 무엇입니까?
   • 가중치가 메모리를 지배하고 공격적인 활성화 양자화는 정확도를 더 손상시키는 경향이 있습니다.
   • 변압기에는 활성화가 존재하지 않습니다.
   • 활성화는 이미 1비트입니다.
   • 법적으로 요구되는 사항입니다.
6. 소비자 하드웨어에서 로컬로 양자화된 모델을 실행하는 데 일반적으로 사용되는 도구는 무엇입니까?
   • Microsoft 단어
   • 라마.cpp
   • 스프레드시트 프로그램
   • 웹브라우저만으로
7. How does GPTQ use a calibration dataset during layer-wise weight quantization?
   • It adds new training labels to the model
   • It selects a new tokenizer vocabulary
   • It estimates second-order information to compensate for rounding errors
   • It measures only GPU temperature
8. How does AWQ identify which weight channels deserve protection?
   • It computes a full Hessian inverse
   • It adds random noise to all weights
   • It selects channels only by their index
   • It uses activation magnitudes to identify channels important to preserve