Prueba de cuantificación de modelos

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Cuantizar un modelo reduce principalmente qué?
   • La precisión numérica utilizada para almacenar pesos y activaciones.
   • El número de capas en la red.
   • El conjunto de datos de entrenamiento sobre el que se construyó el modelo.
   • El lenguaje que el modelo puede entender.
2. Haciendo caso omiso de los metadatos de escala y otros tensores de tiempo de ejecución, ¿cuál es la relación peso-carga útil de dieciséis bits a cuatro bits por peso?
   • The payload is unchanged
   • It is one hundredth of the original payload
   • The four-bit payload is one quarter of the sixteen-bit payload
   • The payload becomes four times larger
3. ¿Cuál es la principal desventaja de la cuantificación agresiva de bits bajos?
   • El modelo olvida su lenguaje de entrenamiento.
   • Pérdida potencial de precisión a medida que los valores se comprimen en menos categorías
   • Sólo puede ejecutarse en supercomputadoras.
   • Elimina capas permanentemente.
4. ¿En qué se diferencia el entrenamiento consciente de la cuantificación de la cuantificación posterior al entrenamiento?
   • No requiere ningún dato
   • Sólo funciona en imágenes.
   • Aumenta el número de bits con el tiempo.
   • Simula el redondeo durante el entrenamiento para que el modelo aprenda a tolerar una baja precisión.
5. ¿Qué técnica utiliza la cuantificación de 4 bits para que el ajuste fino de modelos grandes sea asequible en una GPU?
   • Abandono
   • Normalización por lotes
   • QLoRA
   • Tokenización
6. ¿Por qué el escalado por canal o por grupo ayuda a los modelos cuantificados?
   • Asigna factores de escala separados a porciones de una matriz de peso para preservar la precisión.
   • Elimina la necesidad de cualquier peso.
   • Hace el modelo más grande
   • Convierte texto en audio.
7. A four-bit model’s raw weights fit in available VRAM, but serving fails out of memory. What could explain this?
   • Every four-bit weight expands permanently to a gigabyte
   • Quantization guarantees no runtime allocations
   • Only the model’s filename consumes the remaining memory
   • Caches, scales, unquantized tensors, or workspace need additional memory
8. A team quantizes to INT8 but sees no inference speedup. What should it check?
   • Whether the training data are alphabetized
   • Whether the workload uses efficient supported kernels on its hardware
   • Whether lower bit width always guarantees faster execution
   • Whether the model must have changed languages