Quiz collegato alla guida · Medio Livello

Quiz sulle ricette di formazione RoBERTa

Esamina il mascheramento, gli obiettivi di pre-addestramento, la scala dei dati, il tokenizzatore, la variante multilingue di RoBERTa e le lezioni sui confronti dei modelli controllati.

Percorsi guida correlatiRicetta Formativa Roberta
Domanda 1 di 8

Qual è stata l'intuizione principale di RoBERTa riguardo al BERT originale?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Qual è stata l'intuizione principale di RoBERTa riguardo al BERT originale?
    • L'architettura di BERT era fondamentalmente difettosa
    • BERT ha utilizzato troppi parametri
    • BERT era significativamente sottoallenato
    • BERT necessitava dell'aggiunta di un decodificatore
  2. Quale obiettivo BERT ha rimosso RoBERTa?
    • Previsione della frase successiva
    • Modellazione del linguaggio mascherato
    • Classificazione dei token
    • Rilevamento token sostituito
  3. Cos'è il mascheramento dinamico in RoBERTa?
    • Mascherare solo le parole più rare nel corpus
    • Mascherare intere frasi contemporaneamente
    • Non mascherare mai lo stesso token due volte in un corpus
    • Generazione di un nuovo modello di maschera ogni volta che viene vista una sequenza
  4. Come si sono confrontati i dati di addestramento di RoBERTa con quelli di BERT?
    • Utilizzava gli stessi 16 GB di testo
    • Utilizzava circa 160 GB, circa 10 volte di più
    • Utilizzava meno dati ma etichette più pulite
    • Utilizzava solo Wikipedia
  5. Quale organizzazione ha rilasciato RoBERTa?
    • IA di Facebook (Meta)
    • IA Google
    • OpenAI
    • Microsoft Ricerca
  6. Come si chiama la versione multilingue di RoBERTa?
    • mBERT
    • Roberta-XL
    • XLM-R (XLM-RoBERTa)
    • PolyRoBERTa
  7. Which text encoding did the RoBERTa recipe use according to the guide?
    • A fixed vocabulary of complete words only
    • Byte-level byte-pair encoding
    • One image patch per token
    • A phoneme-only vocabulary
  8. A researcher credits a new layer for beating BERT but also changes the data volume and training duration. Which lesson from RoBERTa matters?
    • Architecture changes always explain every improvement
    • Training duration can be ignored if the benchmark is the same
    • Data volume cannot affect an encoder
    • Training choices can account for gains, so they must be considered when comparing models