Cuestionario vinculado a una guía · duro Nivel

SmoothQuant y cuestionario de cuantificación de activación

Comprueba los valores atípicos de activación, la migración a escala por canal, la notación W8A8, el plegado fuera de línea y las compensaciones de inferencia probadas de SmoothQuant.

Rutas de guía relacionadasSmoothquant y cuantización de activación
Pregunta 1 de 8

¿Qué problema aborda SmoothQuant específicamente en la inferencia de baja precisión?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Qué problema aborda SmoothQuant específicamente en la inferencia de baja precisión?
    • Valores atípicos extremos en los canales de activación.
    • Pesos que son demasiado pequeños para representar
    • Degradado que desaparece durante la retropropagación
    • Límites de tamaño de vocabulario de tokens
  2. ¿Cómo facilita SmoothQuant la cuantificación de las activaciones?
    • Recorta todas las activaciones por encima de un umbral fijo.
    • Migra la dificultad reduciendo las activaciones y aumentando los pesos por el mismo factor.
    • Vuelve a entrenar el modelo de extremo a extremo en 8 bits.
    • Convierte activaciones solo a punto flotante.
  3. ¿Qué significa la notación W8A8?
    • 8 capas de peso y 8 cabezas de atención
    • Caída de peso de 8 y alfa de 8
    • Pesos de 8 bits y activaciones de 8 bits
    • 8 trabajadores y 8 aceleradoras
  4. ¿Por qué el escalado de SmoothQuant prácticamente no agrega sobrecarga de tiempo de ejecución?
    • Se ejecuta en una GPU dedicada separada
    • Sólo se aplica durante el entrenamiento, nunca inferencia.
    • Las CPU modernas ignoran los factores de escala
    • Las básculas se absorben fuera de línea en pesas adyacentes o en operaciones fusionadas.
  5. ¿Qué papel juega el hiperparámetro alfa en SmoothQuant?
    • Controla la cantidad de carga atípica que se desplaza de las activaciones a los pesos.
    • Establece la tasa de aprendizaje para el ajuste fino.
    • Determina el número de bits de cuantificación.
    • Selecciona qué cabezas de atención podar
  6. What result did the SmoothQuant paper report for its evaluated W8A8 large-language-model deployments?
    • A guaranteed 10× speedup on every GPU
    • About 1.56× speedup and roughly 2× memory savings with near-full-precision accuracy
    • No runtime or memory benefit
    • A 50% accuracy drop in every tested model
  7. Why does multiplying activation channels by 1/s and corresponding weights by s preserve a linear layer’s product?
    • The output is rounded to the nearest class
    • The model replaces multiplication with addition
    • The reciprocal scale factors cancel in the activation-weight multiplication
    • The weights are set to zero after scaling
  8. In SmoothQuant’s scale formula, what does increasing alpha generally do to outlier handling?
    • It removes the model’s weight matrices
    • It turns W8A8 into W16A16
    • It eliminates all quantization error
    • It shifts more scaling burden away from activations and onto weights