Cuestionario vinculado a una guía · duro Nivel

Prueba de modelado de permutaciones XLNet

Comprueba la factorización de permutación, la atención de dos flujos, la recurrencia de Transformer-XL y cómo las afirmaciones de referencia dependen de configuraciones comparables.

Rutas de guía relacionadasModelado de permutación Xlnet
Pregunta 1 de 8

¿Qué objetivo de preentrenamiento utiliza XLNet?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Qué objetivo de preentrenamiento utiliza XLNet?
    • Modelado de lenguaje de permutación
    • Modelado de lenguaje enmascarado
    • Detección de token reemplazado
    • Predicción de la siguiente oración
  2. ¿Para qué debilidad de BERT se diseñó XLNet específicamente?
    • BERT era demasiado pequeño
    • El token [MASK] provoca una discrepancia entre el preentrenamiento y el ajuste fino y asume independencia del token enmascarado
    • BERT no podía manejar oraciones cortas
    • BERT carecía de codificaciones posicionales
  3. ¿Qué separa la autoatención de dos flujos de XLNet?
    • Capas de codificador y decodificador
    • Gráficos de entrenamiento e inferencia.
    • Un flujo de contenido y un flujo de consultas
    • Incorporaciones de tokens y oraciones
  4. ¿XLNet mezcla físicamente las palabras de una oración?
    • Sí, reordena aleatoriamente los tokens reales.
    • Sí, pero sólo durante el ajuste fino
    • No, nunca cambia ningún orden en absoluto.
    • No, permuta el orden de factorización usando máscaras de atención manteniendo posiciones.
  5. ¿Qué arquitectura sirve como columna vertebral de XLNet para un contexto de largo alcance?
    • Transformador-XL
    • LSTM
    • Transformador de vainilla original
    • Red convolucional
  6. How does XLNet combine bidirectional context with autoregressive prediction?
    • It predicts all tokens independently with no attention mask
    • It predicts in sampled factorization orders without inserting a [MASK] input token, using attention masks
    • It physically shuffles the sentence before every prediction
    • It replaces autoregressive prediction with a denoising autoencoder
  7. For a token sequence A B C, suppose a sampled factorization order predicts C before A and B. What context is available when predicting C?
    • The tokens A and B must always be provided first
    • Only the next sentence is available
    • No earlier tokens in that sampled order, although C remains at its original input position
    • The input sequence is physically reordered to C A B
  8. How does XLNet prevent the target token from leaking into its own prediction query?
    • It removes the target from the entire training sequence
    • It uses the target’s label as an input embedding
    • It replaces the token with a [MASK] symbol
    • The query stream represents the target position without its token content