Prueba estructurada de poda y caída de capas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Por qué la poda estructurada produce aceleraciones reales mientras que la poda no estructurada a menudo no?
   • La poda estructurada elimina bloques coherentes que en realidad encogen los tensores
   • La poda no estructurada aumenta el tamaño del modelo.
   • La poda estructurada agrega más capas
   • La poda no estructurada solo funciona en CPU
2. ¿Qué es la "caída de capa" en el contexto de los transformadores?
   • Reducir la tasa de aprendizaje por capa
   • Eliminar bloques completos de transformadores para reducir la profundidad del modelo
   • Agregar abandono a cada capa
   • Reordenar las capas aleatoriamente
3. ¿Qué señal indica comúnmente que una capa de transformador se puede soltar de manera segura?
   • La capa tiene la mayor cantidad de parámetros.
   • La capa es la primera en la red.
   • Los estados ocultos de entrada y salida de la capa son muy similares
   • La capa utiliza la mayor cantidad de memoria.
4. ¿Qué paso suele recuperar la precisión después de la poda estructurada?
   • Aumentar solo el tamaño del lote
   • Recuantificación a 16 bits
   • Agregar más cabezas de atención
   • Una breve ronda de puesta a punto o destilación de conocimientos.
5. ¿Cómo se clasifican a menudo los cabezales de atención individuales para la poda?
   • Por el aumento de la pérdida cuando la cabeza está enmascarada (sensibilidad)
   • Por orden alfabético
   • Por su posición en el vocabulario.
   • Por la cantidad de tokens que han visto
6. ¿Cuál es el principal uso práctico de la poda estructurada combinada con destilación?
   • Generando datos de entrenamiento automáticamente
   • Generar una familia de modelos más pequeños y más rápidos desde un gran punto de control
   • Cifrar pesos de modelos
   • Aumentar la longitud de la ventana de contexto
7. Why can a smaller student recover some function of a pruned model during distillation?
   • It restores the deleted weights in place
   • It changes the test labels
   • It is trained to match useful outputs or behavior of the larger teacher
   • It removes the need for validation
8. If a transformer layer’s input and output have high cosine similarity, what does that suggest under the guide’s pruning heuristic?
   • The layer is guaranteed to be useless for every task
   • The model must add another layer
   • The output has no features
   • The layer changed the representation relatively little and may be a candidate for dropping