Kuiz Kuantiti Model

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

1. Mengkuantiti model terutamanya mengurangkan apa?
   • Ketepatan berangka yang digunakan untuk menyimpan pemberat dan pengaktifan
   • Bilangan lapisan dalam rangkaian
   • Set data latihan model dibina
   • Bahasa yang model boleh faham
2. Ignoring scale metadata and other runtime tensors, what is the weight-payload ratio from sixteen bits to four bits per weight?
   • The payload is unchanged
   • It is one hundredth of the original payload
   • The four-bit payload is one quarter of the sixteen-bit payload
   • The payload becomes four times larger
3. Apakah kelemahan utama pengkuantitian bit rendah yang agresif?
   • Model itu lupa bahasa latihannya
   • Potensi kehilangan ketepatan apabila nilai diperah ke dalam baldi yang lebih sedikit
   • Ia hanya boleh berjalan pada superkomputer
   • Ia memadamkan lapisan secara kekal
4. Bagaimanakah latihan sedar kuantisasi berbeza daripada kuantisasi selepas latihan?
   • Ia tidak memerlukan data sama sekali
   • Ia hanya berfungsi pada imej
   • Ia meningkatkan bilangan bit dari semasa ke semasa
   • Ia mensimulasikan pembundaran semasa latihan supaya model belajar untuk bertolak ansur dengan ketepatan rendah
5. Teknik manakah yang menggunakan pengkuantitian 4-bit untuk membuat penalaan halus model besar mampu milik pada satu GPU?
   • Keciciran
   • Normalisasi kelompok
   • QLoRA
   • Tokenisasi
6. Mengapa penskalaan setiap saluran atau setiap kumpulan membantu model terkuantisasi?
   • Ia memberikan faktor skala yang berasingan kepada kepingan matriks berat untuk mengekalkan ketepatan
   • Ia menghilangkan keperluan untuk sebarang pemberat
   • Ia menjadikan model lebih besar
   • Ia menukar teks kepada audio
7. A four-bit model’s raw weights fit in available VRAM, but serving fails out of memory. What could explain this?
   • Every four-bit weight expands permanently to a gigabyte
   • Quantization guarantees no runtime allocations
   • Only the model’s filename consumes the remaining memory
   • Caches, scales, unquantized tensors, or workspace need additional memory
8. A team quantizes to INT8 but sees no inference speedup. What should it check?
   • Whether the training data are alphabetized
   • Whether the workload uses efficient supported kernels on its hardware
   • Whether lower bit width always guarantees faster execution
   • Whether the model must have changed languages