Prueba de cuantificación posterior al entrenamiento de GPTQ y AWQ

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Qué significa "cuantización post-entrenamiento"?
   • Comprimir los pesos de un modelo ya entrenado para reducir la precisión sin un reentrenamiento completo
   • Volver a entrenar el modelo por completo con baja precisión
   • Agregar más datos de entrenamiento después de la implementación
   • Aumentar el recuento de parámetros del modelo.
2. ¿Qué información utiliza GPTQ para compensar los errores de redondeo al cuantificar?
   • La lista de vocabulario del modelo.
   • Información de segundo orden (hessiano/curvatura) de un conjunto de datos de calibración
   • El historial de avisos del usuario.
   • Ruido aleatorio
3. ¿Qué información clave impulsa la AWQ (cuantización de peso consciente de la activación)?
   • Todos los pesos son igualmente importantes
   • Las activaciones deben cuantificarse pero los pesos no se modifican.
   • Una pequeña fracción de los canales de peso son especialmente importantes y deben protegerse.
   • La cuantificación debe ocurrir únicamente durante el preentrenamiento.
4. ¿Aproximadamente cuánta memoria ahorra la cuantificación de 4 bits en comparación con los pesos de 16 bits?
   • Sin ahorros
   • Aproximadamente el doble de memoria
   • Exactamente la mitad de la memoria.
   • Aproximadamente una cuarta parte de la memoria (una reducción de 4 veces)
5. ¿Por qué tanto GPTQ como AWQ normalmente cuantifican los pesos pero mantienen las activaciones con mayor precisión?
   • Los pesos dominan la memoria y la cuantificación de activación agresiva tiende a perjudicar más la precisión
   • Las activaciones no existen en los transformadores.
   • Las activaciones ya son de 1 bit.
   • Es requerido por ley
6. ¿Qué herramienta se utiliza habitualmente para ejecutar modelos cuantificados localmente en hardware de consumo?
   • Microsoft Palabra
   • llama.cpp
   • Un programa de hoja de cálculo
   • Un navegador web solo
7. How does GPTQ use a calibration dataset during layer-wise weight quantization?
   • It adds new training labels to the model
   • It selects a new tokenizer vocabulary
   • It estimates second-order information to compensate for rounding errors
   • It measures only GPU temperature
8. How does AWQ identify which weight channels deserve protection?
   • It computes a full Hessian inverse
   • It adds random noise to all weights
   • It selects channels only by their index
   • It uses activation magnitudes to identify channels important to preserve