Nedir Niceleme?
Tanım
Model ağırlıklarını 8 bit veya 4 bit gibi daha düşük hassasiyetli formatlara dönüştürme.
İlgili terimler
Ücretsiz kılavuzlarımızdan daha fazlasını öğrenin
Residual Vector QuantizationSmoothQuant and Activation QuantizationGPTQ and AWQ Post-Training QuantizationQuantization