Kuiz berkaitan panduan · Sederhana Tahap

Kuiz Kuantiti Selepas Latihan GPTQ dan AWQ

Menyemak perbezaan antara GPTQ dan AWQ, data penentukuran, pampasan kelengkungan, saluran sedar pengaktifan dan memori bit rendah.

Laluan panduan yang berkaitanKuantiti Pasca Latihan Gptq Dan Awq
soalan 1 daripada 8

Apakah maksud 'kuantisasi selepas latihan'?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Apakah maksud 'kuantisasi selepas latihan'?
    • Memampatkan pemberat model yang sudah terlatih untuk menurunkan ketepatan tanpa latihan semula penuh
    • Melatih semula model sepenuhnya pada ketepatan rendah
    • Menambah lebih banyak data latihan selepas penggunaan
    • Meningkatkan kiraan parameter model
  2. Apakah maklumat yang GPTQ gunakan untuk mengimbangi ralat pembundaran semasa mengkuantiti?
    • Senarai kosa kata model
    • Maklumat tertib kedua (Hessian/kelengkungan) daripada set data penentukuran
    • Sejarah gesaan pengguna
    • Bunyi rawak
  3. Apakah cerapan utama yang mendorong AWQ (Pengkuantiti Berat Sedar Pengaktifan)?
    • Semua berat adalah sama penting
    • Pengaktifan harus dikuantisasi tetapi berat tidak disentuh
    • Sebahagian kecil saluran berat amat penting dan harus dilindungi
    • Pengkuantitian harus berlaku semasa pralatihan sahaja
  4. Secara kasar berapa banyak memori yang disimpan oleh kuantisasi 4-bit berbanding pemberat 16-bit?
    • Tiada simpanan
    • Kira-kira dua kali ganda ingatan
    • Tepat separuh ingatan
    • Kira-kira satu perempat memori (pengurangan 4x)
  5. Mengapakah kedua-dua GPTQ dan AWQ biasanya mengukur berat tetapi mengekalkan pengaktifan pada ketepatan yang lebih tinggi?
    • Berat menguasai ingatan, dan kuantisasi pengaktifan yang agresif cenderung menjejaskan ketepatan lebih banyak
    • Pengaktifan tidak wujud dalam transformer
    • Pengaktifan sudah 1-bit
    • Ia dikehendaki oleh undang-undang
  6. Alat manakah yang biasa digunakan untuk menjalankan model terkuantisasi secara tempatan pada perkakasan pengguna?
    • Perkataan Microsoft
    • llama.cpp
    • Satu program hamparan
    • Pelayar web sahaja
  7. How does GPTQ use a calibration dataset during layer-wise weight quantization?
    • It adds new training labels to the model
    • It selects a new tokenizer vocabulary
    • It estimates second-order information to compensate for rounding errors
    • It measures only GPU temperature
  8. How does AWQ identify which weight channels deserve protection?
    • It computes a full Hessian inverse
    • It adds random noise to all weights
    • It selects channels only by their index
    • It uses activation magnitudes to identify channels important to preserve