Cuestionario vinculado a una guía · Medio Nivel

Prueba de suavizado de etiquetas

Cubre objetivos suavizados y épsilon, efectos de calibración dependientes de la tarea, compensaciones de destilación y por qué los resultados dependen de los datos y el objetivo.

Rutas de guía relacionadasSuavizado de etiquetas
Pregunta 1 de 8

¿Qué significa el cambio de suavizado de etiquetas sobre los objetivos de entrenamiento?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Qué significa el cambio de suavizado de etiquetas sobre los objetivos de entrenamiento?
    • Suaviza los objetivos únicos para que la clase verdadera esté por debajo de 1,0 y otros estén ligeramente por encima de 0.
    • Elimina la función de pérdida.
    • Elimina clases incorrectas.
    • Duplica la tasa de aprendizaje
  2. Un valor común para el parámetro de suavizado épsilon es:
    • 0,9
    • 0.1
    • 5.0
    • 0.0
  3. What is one intended effect of replacing hard one-hot targets with smoothed targets?
    • Force every class to have equal probability
    • Guarantee the largest possible logit for the true class
    • Avoid requiring the labeled class to receive a target probability of exactly one
    • Remove the need for labeled training data
  4. Which landmark architectures are prominent examples of label-smoothing use?
    • AlexNet and LeNet only
    • ResNet-50 and VGG only
    • AlphaGo y AlphaZero
    • Inception-v3 y el transformador
  5. What can label smoothing do to calibration?
    • It can improve calibration in some settings, but the effect is task- and model-dependent
    • It guarantees perfect calibration for every classifier
    • It cannot affect predicted probabilities
    • It always makes confidence equal accuracy
  6. ¿Cuál es una desventaja documentada del suavizado de etiquetas?
    • Siempre reduce la precisión.
    • Puede borrar las sutiles similitudes entre clases, perjudicando la destilación del conocimiento.
    • Requiere el doble de datos de entrenamiento.
    • Solo funciona en texto
  7. Why can label smoothing complicate knowledge distillation?
    • It converts every class label into an image
    • It forces the student to use a different tokenizer
    • It can remove information in logits about similarities among incorrect classes
    • It prevents the teacher from producing logits
  8. What should a practitioner verify when comparing label-smoothing implementations?
    • Whether the model has a web browser
    • Whether training uses a validation filename
    • Whether logits are stored as text
    • Whether epsilon is distributed over all classes or only the non-target classes