Quiz połączony z przewodnikiem · Średni Poziom

Quiz dotyczący kwantyzacji GPTQ i AWQ po treningu

Sprawdza różnicę między GPTQ i AWQ, dane kalibracyjne, kompensację krzywizny, kanały obsługujące aktywację i pamięć o małej liczbie bitów.

Powiązane ścieżki prowadząceKwantyzacja Gptq i Awq po treningu
Pytanie 1 z 8

Co oznacza „kwantyzacja potreningowa”?

Podgląd każdego pytania8 pytania

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

  1. Co oznacza „kwantyzacja potreningowa”?
    • Kompresja ciężarów już wytrenowanego modelu do niższej precyzji bez pełnego przeszkolenia
    • Całkowite przeszkolenie modelu przy niskiej precyzji
    • Dodanie większej liczby danych szkoleniowych po wdrożeniu
    • Zwiększanie liczby parametrów modelu
  2. Jakich informacji używa GPTQ do kompensacji błędów zaokrągleń podczas kwantyzacji?
    • Lista słownictwa modelki
    • Informacje drugiego rzędu (Hesja/krzywizna) ze zbioru danych kalibracyjnych
    • Historia podpowiedzi użytkownika
    • Losowy hałas
  3. Jakie kluczowe spostrzeżenia wpływają na AWQ (kwantyzację wagową uwzględniającą aktywację)?
    • Wszystkie wagi są równie ważne
    • Aktywacje należy skwantować, ale wagi pozostawić nietknięte
    • Niewielka część kanałów wagowych jest szczególnie ważna i powinna być chroniona
    • Kwantyzacja powinna odbywać się wyłącznie podczas treningu przedtreningowego
  4. Mniej więcej, ile pamięci oszczędza 4-bitowa kwantyzacja w porównaniu z wagami 16-bitowymi?
    • Żadnych oszczędności
    • Około dwukrotnie większa pamięć
    • Dokładnie połowa pamięci
    • Około jedna czwarta pamięci (redukcja 4x)
  5. Dlaczego zarówno GPTQ, jak i AWQ zazwyczaj kwantyzują wagi, ale zachowują aktywacje z większą precyzją?
    • Wagi dominują w pamięci, a agresywna kwantyzacja aktywacyjna zwykle bardziej szkodzi dokładności
    • W transformatorach nie ma aktywacji
    • Aktywacje są już 1-bitowe
    • Jest to wymagane przez prawo
  6. Które narzędzie jest powszechnie używane do lokalnego uruchamiania modeli skwantowanych na sprzęcie konsumenckim?
    • Microsoft Słowo
    • lama.cpp
    • Program arkusza kalkulacyjnego
    • Sama przeglądarka internetowa
  7. How does GPTQ use a calibration dataset during layer-wise weight quantization?
    • It adds new training labels to the model
    • It selects a new tokenizer vocabulary
    • It estimates second-order information to compensate for rounding errors
    • It measures only GPU temperature
  8. How does AWQ identify which weight channels deserve protection?
    • It computes a full Hessian inverse
    • It adds random noise to all weights
    • It selects channels only by their index
    • It uses activation magnitudes to identify channels important to preserve