개요
They are why you can run a capable model on a single consumer GPU instead of a datacenter rack.
심층 분석
PTQ(사후 훈련 양자화)는 완성된 모델을 재훈련하지 않고 압축하여 고정밀 가중치를 4비트로 매핑하여 메모리를 대략 4분의 1로 줄입니다. 문제는 정확성을 훼손하지 않고 이를 수행하는 것입니다. GPTQ(OBQ의 개선)는 작은 교정 데이터 세트의 2차 정보를 사용하여 레이어별로 가중치를 양자화하여 나머지 가중치를 조정하고 각 반올림 오류를 보상합니다. AWQ(활성화 인식 가중치 양자화)는 다른 각도를 취합니다. 즉, 가중치 채널의 작은 부분이 불균형적으로 중요하다는 것을 관찰하고 활성화 규모를 확인하여 식별하고 공격적으로 양자화하는 대신 크기를 조정하여 주요 채널을 보호합니다. 둘 다 Llama와 같은 모델을 4비트에서 실행할 수 있으며 vLLM, llama.cpp 및 AutoGPTQ와 같은 도구를 통해 로컬 및 비용 효율적인 추론을 위한 주류로 만들었습니다.
실제 구현
4비트 GPTQ 가중치를 사용하여 단일 24GB 소비자 GPU에서 700억 개의 매개변수 Llama 모델을 실행합니다.
AWQ 양자화 모델은 비용 효율적인 프로덕션 API를 위해 vLLM에서 높은 처리량으로 제공됩니다.
llama.cpp는 양자화된 GGUF 가중치를 사용하여 노트북 CPU에서 로컬로 언어 모델을 실행합니다.
Hugging Face의 AutoGPTQ 및 AutoAWQ 라이브러리를 사용하면 개발자가 몇 줄의 코드로 다운로드한 모델을 양자화할 수 있습니다.
GPTQ 및 AWQ 교육 후 양자화의 미래
양자화는 종종 희소성과 결합되는 3비트, 2비트 및 혼합 정밀도 체계를 향해 4비트 미만으로 추진됩니다. 양자화, KV 캐시 압축 및 추측 디코딩이 함께 작동하도록 서비스 엔진과의 긴밀한 결합을 기대합니다. NVFP4 및 MXFP4와 같은 낮은 비트 형식에 대한 하드웨어 지원이 성숙해지고 있으며 자동화된 도구는 점점 더 레이어별 비트 폭을 선택하게 될 것입니다. 광범위한 목표는 기본값으로 거의 무손실 4비트(및 그 이하)를 제공하여 강력한 모델을 저렴하게 모든 곳에 제공하는 것입니다.
실천에 옮기기
왜 중요한가요?
- 비용 및 예산. 아키텍처 결정은 수년 동안 성능과 운영 비용을 결정합니다.
- 더 명확한 결정들. 기술 교육은 팀이 최신 스택뿐만 아니라 올바른 스택을 선택하는 데 도움이 됩니다.
- 품질 관리. 더 나은 엔지니어링 선택은 생산 시 신뢰성 사고를 줄입니다.
조심하세요
- 하나의 벤치마크를 최적화하면 더 광범위한 시스템 약점을 숨길 수 있습니다.
- 인프라 및 유지 관리 비용은 종종 과소평가됩니다.
- 시스템이 더욱 복잡해짐에 따라 보안 및 관찰 가능성의 격차가 커질 수 있습니다.
다음 단계
- 구현하기 전에 지연 시간, 품질, 비용 목표를 정의하세요.
- 현실적인 로드 및 데이터 조건에서 벤치마킹합니다.
- 오류, 드리프트 및 사용자 영향에 대한 계측기 모니터링.
- 확장하기 전에 롤백 및 사고 대응 경로를 준비하세요.
계속 탐색하세요
무료 뉴스레터
일일 AI 브리핑 받기
매주 평일 아침마다 3개의 검증된 AI 스토리를 일반 영어로 작성합니다. 무료이며, 광고 없음.
매주 평일마다 한 번 이메일을 받습니다. 한 번 클릭으로 구독 해지. 주소를 판매하거나 공유하지 않습니다.
자신을 테스트해 보세요
Take the GPTQ and AWQ Post-Training Quantization quiz
모든 답변에 즉각적인 피드백과, 과정을 통과하면 검증 가능한 ID가 있는 공유 가능한 인증서를 제공합니다.
무료 AI 교육을 지원합니다. AI Understanding는 501(c)(3) 비영리 단체입니다 — 광고 없음, 유료 장벽 없음, 영원히. 기부하기
자주 묻는 질문
What is GPTQ and AWQ Post-Training Quantization?
GPTQ와 AWQ는 이미 학습된 언어 모델을 4비트 정밀도로 축소하여 더 저렴하고 작은 하드웨어에서 실행되도록 하는 두 가지 주요 방법입니다. 이것이 데이터센터 랙 대신 단일 소비자 GPU에서 유능한 모델을 실행할 수 있는 이유입니다.
'훈련 후 양자화'는 무엇을 의미하나요?
학습 후 양자화는 처음부터 다시 학습하지 않고도 완성된 모델 가중치의 정밀도(예: 4비트)를 줄입니다.
양자화 시 반올림 오류를 보상하기 위해 GPTQ는 어떤 정보를 사용합니까?
GPTQ는 대략적인 헤세 행렬을 사용하여 하나의 가중치를 양자화하면 손실에 어떤 영향을 미치는지 이해한 다음 나머지 가중치를 조정하여 보상합니다.
AWQ(활성화 인식 가중치 양자화)를 구동하는 주요 통찰력은 무엇입니까?
AWQ는 활성화 크기를 사용하여 두드러진 가중치 채널을 식별하고 일부 채널이 불균형적으로 중요하기 때문에 스케일링을 통해 이를 보호합니다.
16비트 가중치에 비해 4비트 양자화는 대략 얼마나 많은 메모리를 절약합니까?
무게당 16비트에서 4비트로 이동하면 무게 메모리가 약 1/4로 약 4배 감소합니다.
GPTQ와 AWQ가 일반적으로 가중치를 양자화하지만 활성화를 더 높은 정밀도로 유지하는 이유는 무엇입니까?
가중치는 주 메모리 비용인 반면 활성화는 정밀도 손실에 더 민감하므로 가중치 전용 양자화가 일반적으로 가장 적합합니다.