Cuestionario vinculado a una guía · Medio Nivel

Prueba de recetas de entrenamiento de RoBERTa

Revise el enmascaramiento, los objetivos de preentrenamiento, la escala de datos, el tokenizador, la variante multilingüe y las lecciones de RoBERTa sobre comparaciones de modelos controlados.

Rutas de guía relacionadasReceta de entrenamiento de Roberta
Pregunta 1 de 8

¿Cuál fue la principal idea de RoBERTa sobre el BERT original?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Cuál fue la principal idea de RoBERTa sobre el BERT original?
    • La arquitectura de BERT era fundamentalmente defectuosa
    • BERT usó demasiados parámetros
    • BERT estaba significativamente subentrenado
    • BERT necesitaba agregar un decodificador
  2. ¿Qué objetivo de BERT eliminó RoBERTa?
    • Predicción de la siguiente oración
    • Modelado de lenguaje enmascarado
    • Clasificación de tokens
    • Detección de token reemplazado
  3. ¿Qué es el enmascaramiento dinámico en RoBERTa?
    • Enmascarar sólo las palabras más raras del corpus.
    • Enmascarar frases enteras a la vez
    • Nunca enmascarar el mismo token dos veces en un corpus
    • Generar un nuevo patrón de máscara cada vez que se ve una secuencia
  4. ¿Cómo se comparan los datos de entrenamiento de RoBERTa con los de BERT?
    • Usó los mismos 16 GB de texto.
    • Usó aproximadamente 160 GB, aproximadamente 10 veces más
    • Usó menos datos pero etiquetas más limpias.
    • Usaba solo Wikipedia
  5. ¿Qué organización liberó a RoBERTa?
    • IA de Facebook (Meta)
    • Google IA
    • OpenAI
    • Microsoft Investigación
  6. ¿Cómo se llama la versión multilingüe de RoBERTa?
    • mBERTO
    • Roberta-XL
    • XLM-R (XLM-RoBERTa)
    • poliroberta
  7. Which text encoding did the RoBERTa recipe use according to the guide?
    • A fixed vocabulary of complete words only
    • Byte-level byte-pair encoding
    • One image patch per token
    • A phoneme-only vocabulary
  8. A researcher credits a new layer for beating BERT but also changes the data volume and training duration. Which lesson from RoBERTa matters?
    • Architecture changes always explain every improvement
    • Training duration can be ignored if the benchmark is the same
    • Data volume cannot affect an encoder
    • Training choices can account for gains, so they must be considered when comparing models