Kuis Kuantisasi Model

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Mengkuantisasi suatu model pada dasarnya mengurangi apa?
   • Presisi numerik yang digunakan untuk menyimpan bobot dan aktivasi
   • Jumlah lapisan dalam jaringan
   • Kumpulan data pelatihan tempat model dibangun
   • Bahasa yang dapat dimengerti oleh model
2. Ignoring scale metadata and other runtime tensors, what is the weight-payload ratio from sixteen bits to four bits per weight?
   • The payload is unchanged
   • It is one hundredth of the original payload
   • The four-bit payload is one quarter of the sixteen-bit payload
   • The payload becomes four times larger
3. Apa kelemahan utama dari kuantisasi bit rendah yang agresif?
   • Model lupa bahasa pelatihannya
   • Potensi hilangnya akurasi karena nilai dimasukkan ke dalam kelompok yang lebih sedikit
   • Itu hanya bisa berjalan di superkomputer
   • Ini menghapus lapisan secara permanen
4. Apa perbedaan pelatihan sadar kuantisasi dengan kuantisasi pasca pelatihan?
   • Itu tidak memerlukan data sama sekali
   • Ini hanya berfungsi pada gambar
   • Ini meningkatkan jumlah bit seiring waktu
   • Ini mensimulasikan pembulatan selama pelatihan sehingga model belajar untuk mentolerir presisi rendah
5. Teknik manakah yang menggunakan kuantisasi 4-bit untuk membuat penyesuaian model besar terjangkau pada satu GPU?
   • Putus sekolah
   • Normalisasi batch
   • QLoRA
   • Tokenisasi
6. Mengapa penskalaan per saluran atau per grup membantu model terkuantisasi?
   • Ini menetapkan faktor skala terpisah ke irisan matriks bobot untuk menjaga presisi
   • Ini menghilangkan kebutuhan akan beban apa pun
   • Itu membuat modelnya lebih besar
   • Ini mengubah teks menjadi audio
7. A four-bit model’s raw weights fit in available VRAM, but serving fails out of memory. What could explain this?
   • Every four-bit weight expands permanently to a gigabyte
   • Quantization guarantees no runtime allocations
   • Only the model’s filename consumes the remaining memory
   • Caches, scales, unquantized tensors, or workspace need additional memory
8. A team quantizes to INT8 but sees no inference speedup. What should it check?
   • Whether the training data are alphabetized
   • Whether the workload uses efficient supported kernels on its hardware
   • Whether lower bit width always guarantees faster execution
   • Whether the model must have changed languages