Prueba de destilación de conocimientos

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. In knowledge distillation, what is the student model trained to do?
   • Entrenar un modelo de estudiante pequeño para que imite un modelo de maestro grande
   • Para hacer un modelo más grande y más preciso
   • Para etiquetar datos automáticamente
   • Para cifrar los pesos de un modelo
2. ¿Qué se entiende por "conocimiento oscuro" del maestro?
   • Comportamiento malicioso oculto en el modelo.
   • La parte cifrada del archivo modelo.
   • La información en las probabilidades relativas que el profesor asigna a clases equivocadas.
   • Datos sobre los que el profesor nunca fue capacitado
3. ¿Qué papel juega la temperatura (T) en la destilación?
   • Controla únicamente la velocidad de entrenamiento del modelo.
   • Suaviza el softmax para que se puedan aprender pequeñas similitudes entre clases.
   • Establece el número de capas en el estudiante.
   • Mide la producción de calor de la GPU.
4. ¿Qué dos componentes combinan la pérdida por destilación clásica?
   • Dos modelos de recompensa separados
   • Error cuadrático medio y pérdida de bisagra.
   • Una penalización de KL contra una política de referencia y una función de valor
   • Un término de divergencia KL que coincide con los resultados suaves del profesor más entropía cruzada en las etiquetas verdaderas
5. ¿Cuál es un ejemplo de modelo de lenguaje destilado?
   • ResNet-50
   • Palabra2Vec
   • destilbert
   • alexnet
6. ¿En qué se diferencia la destilación basada en características del enfoque clásico basado en la producción?
   • Coincide con representaciones intermedias de capas ocultas, no solo con resultados finales.
   • Ignora al maestro por completo.
   • Sólo utiliza etiquetas duras.
   • Forma al profesor en lugar del alumno.
7. A teacher assigns similar small probabilities to wolf and fox when predicting dog. What can soft-target distillation transfer beyond the top label?
   • A guarantee that either alternative is the correct label
   • The teacher’s complete original training corpus
   • The teacher’s exact number of hidden layers
   • Relative relationships among the teacher’s alternative class scores
8. A distilled student is smaller than its teacher. Which evaluation is needed before deployment?
   • Assume its accuracy must equal the teacher’s
   • Measure its task accuracy and runtime on the intended system
   • Assume fewer parameters guarantee lower latency on every device
   • Only compare the models’ names