SıradakiSonraki rehber
Eğitim Verileri İlişkilendirmesine Yönelik Etkileme İşlevleri
Teknik
Teknik KILAVUZ
GPTQ ve AWQ Eğitim Sonrası Niceleme
GPTQ ve AWQ, önceden eğitilmiş dil modellerini 4 bit hassasiyete küçülterek daha ucuz ve daha küçük donanımlarda çalışmasını sağlayan önde gelen iki yöntemdir.
Bu kılavuzu dinleyinAI tarafından anlatılan · ~2 min
Bu sayfada2 dakika okuma
Genel Bakış
Yetenekli bir modeli veri merkezi rafı yerine tek bir tüketici GPU'sunda çalıştırabilmenizin nedeni budur.
Derin Dalış
Eğitim sonrası niceleme (PTQ), bitmiş bir modeli yeniden eğitmeden sıkıştırır ve belleği kabaca dörtte bir oranında yüksek hassasiyetli ağırlıkları 4 bit'e kadar eşler. Buradaki zorluk, doğruluğu bozmadan bunu yapmaktır. GPTQ (OBQ'nun geliştirilmiş hali), kalan ağırlıkları ayarlamak ve her yuvarlama hatasını telafi etmek için küçük bir kalibrasyon veri kümesinden gelen ikinci derece bilgileri kullanarak ağırlıkları katman katman nicemler. AWQ (Aktivasyona Duyarlı Ağırlık Niceleme) farklı bir açı alır: ağırlık kanallarının küçük bir kısmının orantısız derecede önemli olduğunu gözlemler, aktivasyon büyüklüklerine bakarak tanımlanır ve bu göze çarpan kanalları agresif bir şekilde nicelemek yerine ölçeklendirerek korur. Her ikisi de Llama gibi modellerin 4 bit olarak çalışmasına izin veriyor ve vLLM, llama.cpp ve AutoGPTQ gibi araçlar, onları yerel ve uygun maliyetli çıkarımlar için ana akım haline getiriyor.
Gerçek Dünya Uygulaması
70 milyar parametreli bir Llama modelini, 4 bit GPTQ ağırlıklarını kullanarak tek bir 24 GB tüketici GPU'da çalıştırma.
AWQ ile nicelenmiş modeller, uygun maliyetli üretim API'leri için vLLM'de yüksek aktarım hızında hizmet verdi.
Llama.cpp, dil modellerini bir dizüstü bilgisayar CPU'sunda yerel olarak çalıştırmak için nicelenmiş GGUF ağırlıklarını kullanıyor.
Hugging Face'in AutoGPTQ ve AutoAWQ kitaplıkları, geliştiricilerin indirilen bir modeli birkaç satır kodla nicelleştirmesine olanak tanır.
GPTQ ve AWQ Eğitim Sonrası Nicelemenin Geleceği
Niceleme, genellikle seyreklikle birleştirilen 3 bit, 2 bit ve karma duyarlıklı şemalara doğru 4 bitin altına itiyor. Niceleme, KV önbellek sıkıştırma ve spekülatif kod çözmenin birlikte çalışması için hizmet veren motorlarla daha yakın bağlantı bekleyebilirsiniz. NVFP4 ve MXFP4 gibi düşük bit formatları için donanım desteği olgunlaşıyor ve otomatik araçlar giderek katman başına bit genişliklerini seçecek. Genel hedef, varsayılan olarak neredeyse kayıpsız 4 bit (ve daha düşük) olup, güçlü modellerin her yerde hizmet vermesini ucuz hale getirir.
Uygulamaya koymak
Neden önemli?
- Maliyet ve bütçe. Mimari kararlar yıllarca performansı ve işletme maliyetini etkiler.
- Daha net kararlar. Teknik eğitim, ekiplerin yalnızca en yenisini değil, doğru yığını seçmesine de yardımcı olur.
- Kalite kontrolü. Daha iyi mühendislik seçenekleri, üretimdeki güvenilirlik olaylarını azaltır.
Dikkat edin
- Bir kıyaslamayı optimize etmek daha geniş sistem zayıflıklarını gizleyebilir.
- Altyapı ve bakım maliyetleri genellikle hafife alınır.
- Sistemler karmaşıklaştıkça güvenlik ve gözlemlenebilirlik boşlukları büyüyebilir.
Sonraki adımlar
- Uygulamadan önce gecikmeyi, kaliteyi ve maliyet hedeflerini tanımlayın.
- Gerçekçi yük ve veri koşulları altında kıyaslama yapın.
- Hatalar, sapmalar ve kullanıcı etkisi için cihaz izleme.
- Ölçeklendirmeden önce geri alma ve olay müdahale yollarını hazırlayın.
Keşfetmeye Devam Edin
Ücretsiz bülten
Günlük AI brifingini alın
Hafta içi her sabah sade İngilizce yazılmış, doğrulanmış üç yapay zeka hikayesi. Sonsuza kadar ücretsiz, reklam yok.
Hafta içi her gün bir e-posta. Tek tıklamayla aboneliğinizi iptal edin. Adresinizi asla satmayız veya paylaşmayız.
Kendinizi test edin
Take the GPTQ and AWQ Post-Training Quantization quiz
Her yanıtla ilgili anında geri bildirim ve bir kursu geçtiğinizde doğrulanabilir bir kimliğe sahip paylaşılabilir bir sertifika.
Ücretsiz AI eğitimini destekleyin. AI Understanding, bir 501(c)(3) kâr amacı gütmeyen kuruluştur; hiçbir zaman reklam yoktur, ödeme duvarı yoktur. Bağış yap
Sık sorulan sorular
GPTQ ve AWQ Eğitim Sonrası Niceleme nedir?
GPTQ ve AWQ, önceden eğitilmiş dil modellerini 4 bit hassasiyete küçülterek daha ucuz ve daha küçük donanımlarda çalışmasını sağlayan önde gelen iki yöntemdir. Yetenekli bir modeli veri merkezi rafı yerine tek bir tüketici GPU'sunda çalıştırabilmenizin nedeni budur.
'Eğitim sonrası kuantizasyon' ne anlama geliyor?
Eğitim sonrası niceleme, bitmiş bir modelin ağırlıklarının hassasiyetini, onu sıfırdan yeniden eğitmeden azaltır (örneğin, 4 bit'e).
GPTQ, niceleme sırasında yuvarlama hatalarını telafi etmek için hangi bilgileri kullanır?
GPTQ, bir ağırlığı nicelemenin kaybı nasıl etkilediğini anlamak için yaklaşık bir Hessian kullanır, ardından kalan ağırlıkları telafi edecek şekilde ayarlar.
Hangi temel bilgiler AWQ'yu (Etkinleştirme Farkında Ağırlık Niceleme) yönlendiriyor?
AWQ, aktivasyon büyüklüklerini kullanarak belirgin ağırlık kanallarını tanımlar ve birkaç kanalın orantısız bir şekilde önemli olması nedeniyle bunları ölçeklendirme yoluyla korur.
4 bit niceleme, 16 bit ağırlıklara kıyasla kabaca ne kadar bellek tasarrufu sağlar?
Ağırlık başına 16 bitten 4 bit'e çıkmak, ağırlık hafızasını yaklaşık dörtte bire indirir; bu da kabaca 4 kat azalma anlamına gelir.
Neden hem GPTQ hem de AWQ genellikle ağırlıkları nicelleştiriyor ancak aktivasyonları daha yüksek hassasiyette tutuyor?
Ağırlıklar ana hafıza maliyetidir, aktivasyonlar ise hassasiyet kaybına karşı daha hassastır, dolayısıyla yalnızca ağırlık nicelemesi ortak tatlı noktadır.
Öğrenmeye devam et
İlgili kılavuzlar
Bu konu için daha fazla rehber seçildi