Kuis terkait panduan · Sedang Tingkat

Kuis Kuantisasi Pasca Pelatihan GPTQ dan AWQ

Memeriksa perbedaan antara GPTQ dan AWQ, data kalibrasi, kompensasi kelengkungan, saluran sadar aktivasi, dan memori bit rendah.

Jalur panduan terkaitKuantisasi Pasca Pelatihan Gptq Dan Awq
Pertanyaan 1 dari 8

Apa yang dimaksud dengan 'kuantisasi pasca pelatihan'?

Pratinjau setiap pertanyaan8 pertanyaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

  1. Apa yang dimaksud dengan 'kuantisasi pasca pelatihan'?
    • Mengompresi bobot model yang sudah dilatih untuk menurunkan presisi tanpa pelatihan ulang penuh
    • Melatih ulang model sepenuhnya dengan presisi rendah
    • Menambahkan lebih banyak data pelatihan setelah penerapan
    • Meningkatkan jumlah parameter model
  2. Informasi apa yang digunakan GPTQ untuk mengkompensasi kesalahan pembulatan saat melakukan kuantisasi?
    • Daftar kosakata model
    • Informasi orde kedua (Hessian/kelengkungan) dari kumpulan data kalibrasi
    • Riwayat cepat pengguna
    • Kebisingan acak
  3. Wawasan utama apa yang mendorong AWQ (Activation-aware Weight Quantization)?
    • Semua bobot sama pentingnya
    • Aktivasi harus dikuantisasi tetapi bobotnya tidak disentuh
    • Sebagian kecil saluran beban sangat penting dan harus dilindungi
    • Kuantisasi harus dilakukan selama pra-pelatihan saja
  4. Kira-kira berapa banyak memori yang dihemat kuantisasi 4-bit dibandingkan bobot 16-bit?
    • Tidak ada tabungan
    • Sekitar dua kali lipat memori
    • Tepatnya separuh memori
    • Sekitar seperempat memori (pengurangan 4x)
  5. Mengapa GPTQ dan AWQ biasanya mengkuantisasi bobot namun menjaga aktivasi pada presisi yang lebih tinggi?
    • Bobot mendominasi memori, dan kuantisasi aktivasi yang agresif cenderung lebih merugikan akurasi
    • Aktivasi tidak ada di transformator
    • Aktivasi sudah 1-bit
    • Itu diwajibkan oleh hukum
  6. Alat manakah yang biasa digunakan untuk menjalankan model terkuantisasi secara lokal pada perangkat keras konsumen?
    • Microsoft Kata
    • llama.cpp
    • Sebuah program spreadsheet
    • Sebuah browser web saja
  7. How does GPTQ use a calibration dataset during layer-wise weight quantization?
    • It adds new training labels to the model
    • It selects a new tokenizer vocabulary
    • It estimates second-order information to compensate for rounding errors
    • It measures only GPU temperature
  8. How does AWQ identify which weight channels deserve protection?
    • It computes a full Hessian inverse
    • It adds random noise to all weights
    • It selects channels only by their index
    • It uses activation magnitudes to identify channels important to preserve