Rehber bağlantılı sınav · Orta Seviye

GPTQ ve AWQ Eğitim Sonrası Niceleme Sınavı

GPTQ ve AWQ arasındaki farkı, kalibrasyon verilerini, eğrilik telafisini, aktivasyona duyarlı kanalları ve düşük bit belleği kontrol eder.

İlgili kılavuz yollarıGptq ve Awq Eğitim Sonrası Niceleme
Soru 1 arasında 8

'Eğitim sonrası kuantizasyon' ne anlama geliyor?

Her soruyu önizleyin8 sorular

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

  1. 'Eğitim sonrası kuantizasyon' ne anlama geliyor?
    • Önceden eğitilmiş bir modelin ağırlıklarının, tam bir yeniden eğitim gerektirmeden hassasiyeti azaltmak için sıkıştırılması
    • Modelin tamamen düşük hassasiyetle yeniden eğitilmesi
    • Dağıtımdan sonra daha fazla eğitim verisi ekleme
    • Modelin parametre sayısını arttırma
  2. GPTQ, niceleme sırasında yuvarlama hatalarını telafi etmek için hangi bilgileri kullanır?
    • Modelin kelime listesi
    • Kalibrasyon veri kümesinden ikinci dereceden (Hessian/eğrilik) bilgiler
    • Kullanıcının istem geçmişi
    • Rastgele gürültü
  3. Hangi temel bilgiler AWQ'yu (Etkinleştirme Farkında Ağırlık Niceleme) yönlendiriyor?
    • Tüm ağırlıklar eşit derecede önemlidir
    • Aktivasyonlar nicelendirilmeli ancak ağırlıklara dokunulmamalıdır
    • Ağırlık kanallarının küçük bir kısmı özellikle önemlidir ve korunmalıdır
    • Niceleme yalnızca ön eğitim sırasında gerçekleşmelidir
  4. 4 bit niceleme, 16 bit ağırlıklara kıyasla kabaca ne kadar bellek tasarrufu sağlar?
    • Tasarruf yok
    • Hafızanın yaklaşık iki katı
    • Hafızanın tam yarısı
    • Belleğin yaklaşık dörtte biri (4 kat azalma)
  5. Neden hem GPTQ hem de AWQ genellikle ağırlıkları nicelleştiriyor ancak aktivasyonları daha yüksek hassasiyette tutuyor?
    • Ağırlıklar belleğe hakimdir ve agresif aktivasyon kuantizasyonu, doğruluğu daha fazla zedeleme eğilimindedir.
    • Transformatörlerde aktivasyon mevcut değildir
    • Etkinleştirmeler zaten 1 bittir
    • Kanunen gerekli
  6. Tüketici donanımında nicelenmiş modelleri yerel olarak çalıştırmak için yaygın olarak hangi araç kullanılır?
    • Microsoft Kelime
    • lama.cpp
    • Bir elektronik tablo programı
    • Tek başına bir web tarayıcısı
  7. How does GPTQ use a calibration dataset during layer-wise weight quantization?
    • It adds new training labels to the model
    • It selects a new tokenizer vocabulary
    • It estimates second-order information to compensate for rounding errors
    • It measures only GPU temperature
  8. How does AWQ identify which weight channels deserve protection?
    • It computes a full Hessian inverse
    • It adds random noise to all weights
    • It selects channels only by their index
    • It uses activation magnitudes to identify channels important to preserve