Model Niceleme Sınavı

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. Quantizing a model mainly reduces what?
   • Ağırlıkları ve aktivasyonları depolamak için kullanılan sayısal hassasiyet
   • Ağdaki katman sayısı
   • Modelin üzerine kurulduğu eğitim veri seti
   • Modelin anlayabileceği dil
2. Ignoring scale metadata and other runtime tensors, what is the weight-payload ratio from sixteen bits to four bits per weight?
   • The payload is unchanged
   • It is one hundredth of the original payload
   • The four-bit payload is one quarter of the sixteen-bit payload
   • The payload becomes four times larger
3. Agresif düşük bit nicelemenin ana dezavantajı nedir?
   • Model eğitim dilini unutuyor
   • Değerler daha az gruba sıkıştırıldıkça potansiyel doğruluk kaybı
   • Yalnızca süper bilgisayarlarda çalışabilir
   • Katmanları kalıcı olarak siler
4. Kuantizasyona duyarlı eğitimin eğitim sonrası kuantizasyondan farkı nedir?
   • Hiçbir veriye ihtiyaç duymaz
   • Yalnızca görseller üzerinde çalışır
   • Zamanla bit sayısını artırır
   • Eğitim sırasında yuvarlamayı simüle eder, böylece model düşük hassasiyeti tolere etmeyi öğrenir
5. Hangi teknik, büyük modellerin ince ayarını tek bir GPU'da uygun maliyetli hale getirmek için 4 bit nicelemeyi kullanır?
   • Bırakma
   • Toplu normalleştirme
   • QLoRA
   • Tokenleştirme
6. Kanal başına veya grup başına ölçeklendirme neden nicelenmiş modellere yardımcı oluyor?
   • Hassasiyeti korumak için ağırlık matrisinin dilimlerine ayrı ölçek faktörleri atar
   • Herhangi bir ağırlığa olan ihtiyacı ortadan kaldırır
   • Modeli daha büyük hale getirir
   • Metni sese dönüştürür
7. A four-bit model’s raw weights fit in available VRAM, but serving fails out of memory. What could explain this?
   • Every four-bit weight expands permanently to a gigabyte
   • Quantization guarantees no runtime allocations
   • Only the model’s filename consumes the remaining memory
   • Caches, scales, unquantized tensors, or workspace need additional memory
8. A team quantizes to INT8 but sees no inference speedup. What should it check?
   • Whether the training data are alphabetized
   • Whether the workload uses efficient supported kernels on its hardware
   • Whether lower bit width always guarantees faster execution
   • Whether the model must have changed languages