SmoothQuant ve Aktivasyon Niceleme Testi

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. SmoothQuant düşük hassasiyetli çıkarımlarda özellikle hangi sorunu ele alıyor?
   • Aktivasyon kanallarında aşırı aykırı değerler
   • Temsil edilemeyecek kadar küçük ağırlıklar
   • Geri yayılım sırasında gradyan kayboluyor
   • Belirteç sözcük dağarcığı boyutu sınırları
2. SmoothQuant aktivasyonların nicelendirilmesini nasıl kolaylaştırır?
   • Sabit bir eşiğin üzerindeki tüm aktivasyonları keser
   • Etkinleştirmelerin ölçeğini küçülterek ve ağırlıkları aynı faktörle artırarak zorluğu ortadan kaldırır
   • Modeli 8 bitlik uçtan uca yeniden eğitir
   • Aktivasyonları yalnızca kayan noktaya dönüştürür
3. W8A8 gösterimi ne anlama geliyor?
   • 8 ağırlık katmanı ve 8 dikkat başlığı
   • Ağırlık azalması 8 ve alfa 8
   • 8 bit ağırlıklar ve 8 bit aktivasyonlar
   • 8 işçi ve 8 hızlandırıcı
4. SmoothQuant'ın ölçeklendirmesi neden aslında hiçbir çalışma zamanı yükü eklemiyor?
   • Ayrı bir özel GPU üzerinde çalışır
   • Yalnızca eğitim sırasında geçerlidir, asla çıkarım yapılmaz
   • Modern CPU'lar ölçeklendirme faktörlerini göz ardı eder
   • Ölçekler çevrimdışı olarak bitişik ağırlıklara veya birleştirilmiş işlemlere emilir
5. Alfa hiperparametresi SmoothQuant'ta nasıl bir rol oynuyor?
   • Aktivasyonlardan ağırlıklara ne kadar aykırı değer yükünün kaydığını kontrol eder
   • İnce ayar için öğrenme oranını belirler
   • Niceleme bitlerinin sayısını belirler
   • Hangi dikkatin budanacağını seçer
6. What result did the SmoothQuant paper report for its evaluated W8A8 large-language-model deployments?
   • A guaranteed 10× speedup on every GPU
   • About 1.56× speedup and roughly 2× memory savings with near-full-precision accuracy
   • No runtime or memory benefit
   • A 50% accuracy drop in every tested model
7. Why does multiplying activation channels by 1/s and corresponding weights by s preserve a linear layer’s product?
   • The output is rounded to the nearest class
   • The model replaces multiplication with addition
   • The reciprocal scale factors cancel in the activation-weight multiplication
   • The weights are set to zero after scaling
8. In SmoothQuant’s scale formula, what does increasing alpha generally do to outlier handling?
   • It removes the model’s weight matrices
   • It turns W8A8 into W16A16
   • It eliminates all quantization error
   • It shifts more scaling burden away from activations and onto weights