Quiz collegato alla guida · Medio Livello
Quiz sulle ricette di formazione RoBERTa
Esamina il mascheramento, gli obiettivi di pre-addestramento, la scala dei dati, il tokenizzatore, la variante multilingue di RoBERTa e le lezioni sui confronti dei modelli controllati.
Domanda 1 di 8
Qual è stata l'intuizione principale di RoBERTa riguardo al BERT originale?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Qual è stata l'intuizione principale di RoBERTa riguardo al BERT originale?
- L'architettura di BERT era fondamentalmente difettosa
- BERT ha utilizzato troppi parametri
- BERT era significativamente sottoallenato
- BERT necessitava dell'aggiunta di un decodificatore
- Quale obiettivo BERT ha rimosso RoBERTa?
- Previsione della frase successiva
- Modellazione del linguaggio mascherato
- Classificazione dei token
- Rilevamento token sostituito
- Cos'è il mascheramento dinamico in RoBERTa?
- Mascherare solo le parole più rare nel corpus
- Mascherare intere frasi contemporaneamente
- Non mascherare mai lo stesso token due volte in un corpus
- Generazione di un nuovo modello di maschera ogni volta che viene vista una sequenza
- Come si sono confrontati i dati di addestramento di RoBERTa con quelli di BERT?
- Utilizzava gli stessi 16 GB di testo
- Utilizzava circa 160 GB, circa 10 volte di più
- Utilizzava meno dati ma etichette più pulite
- Utilizzava solo Wikipedia
- Quale organizzazione ha rilasciato RoBERTa?
- IA di Facebook (Meta)
- IA Google
- OpenAI
- Microsoft Ricerca
- Come si chiama la versione multilingue di RoBERTa?
- mBERT
- Roberta-XL
- XLM-R (XLM-RoBERTa)
- PolyRoBERTa
- Which text encoding did the RoBERTa recipe use according to the guide?
- A fixed vocabulary of complete words only
- Byte-level byte-pair encoding
- One image patch per token
- A phoneme-only vocabulary
- A researcher credits a new layer for beating BERT but also changes the data volume and training duration. Which lesson from RoBERTa matters?
- Architecture changes always explain every improvement
- Training duration can be ignored if the benchmark is the same
- Data volume cannot affect an encoder
- Training choices can account for gains, so they must be considered when comparing models