Cuestionario vinculado a una guía · Medio Nivel

Prueba de modelado de lenguaje enmascarado

Comprenda el modelado de lenguaje enmascarado, el esquema de selección de tokens de BERT y las alternativas posteriores para el preentrenamiento bidireccional.

Rutas de guía relacionadasModelado de lenguaje enmascarado
Pregunta 1 de 8

¿Cuál es la tarea principal de capacitación en el modelado de lenguaje enmascarado?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Cuál es la tarea principal de capacitación en el modelado de lenguaje enmascarado?
    • Predecir palabras deliberadamente ocultas del contexto circundante.
    • Predecir la siguiente palabra después de una oración
    • Traducir texto entre dos idiomas
    • Clasificación de oraciones por corrección gramatical
  2. ¿Aproximadamente qué porcentaje de tokens suele enmascarar BERT durante el preentrenamiento?
    • Alrededor del 50%
    • Alrededor del 15%
    • Alrededor del 1%
    • Alrededor del 90%
  3. ¿Por qué MLM proporciona comprensión bidireccional al modelo?
    • Lee oraciones al revés
    • Utiliza dos modelos separados.
    • Cada token atiende a las palabras tanto a su izquierda como a su derecha.
    • Solo mira la palabra anterior.
  4. En el esquema de enmascaramiento de BERT, ¿qué sucede con aproximadamente el 10% de las posiciones seleccionadas en lugar de convertirse en [MASK]?
    • Se eliminan por completo
    • estan duplicados
    • estan en mayuscula
    • Se reemplazan con una palabra aleatoria.
  5. ¿En qué posiciones se calcula la pérdida de MLM?
    • Sólo las posiciones enmascaradas
    • Cada ficha en la oración.
    • Sólo la primera y la última ficha.
    • Sólo fichas de puntuación
  6. En comparación con la predicción del próximo token, ¿qué es lo que intercambia el MLM?
    • La capacidad de utilizar el contexto.
    • La capacidad de generar texto fluido de izquierda a derecha.
    • Acceso a un vocabulario
    • El uso de la atención.
  7. How does RoBERTa’s dynamic masking differ from BERT’s original setup?
    • It masks only the first token of every sentence
    • It predicts future tokens with a causal decoder
    • The masked positions can be regenerated across training passes instead of remaining fixed
    • It replaces all masked tokens with random numbers
  8. What auxiliary objective did the original BERT pretraining recipe combine with MLM?
    • Image patch reconstruction
    • Audio speaker diarization
    • A reward model for code generation
    • Next-sentence prediction