Κουίζ που συνδέεται με οδηγό · Μεσαίο Επίπεδο

RoBERTa Training Recipe Quiz

Εξετάστε την απόκρυψη, τους στόχους προκατάρτισης, την κλίμακα δεδομένων, το tokenizer, την πολύγλωσση παραλλαγή και μαθήματα σχετικά με ελεγχόμενες συγκρίσεις μοντέλων του RoBERTa.

Σχετικές διαδρομές οδηγώνΠροπονητική συνταγή Roberta
Ερώτηση 1 του 8

Ποια ήταν η κύρια ιδέα του RoBERTa για το αρχικό BERT;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Ποια ήταν η κύρια ιδέα του RoBERTa για το αρχικό BERT;
    • Η αρχιτεκτονική του BERT ήταν βασικά ελαττωματική
    • Ο BERT χρησιμοποίησε πάρα πολλές παραμέτρους
    • Ο BERT είχε υποεκπαιδευτεί σημαντικά
    • Η BERT χρειάστηκε να προστεθεί αποκωδικοποιητής
  2. Ποιον στόχο BERT αφαίρεσε η RoBERTa;
    • Πρόβλεψη επόμενης πρότασης
    • Μοντελοποίηση μάσκας γλώσσας
    • Ταξινόμηση διακριτικών
    • Αντικαταστάθηκε η ανίχνευση διακριτικού
  3. Τι είναι η δυναμική κάλυψη στο RoBERTa;
    • Συγκαλύπτοντας μόνο τις πιο σπάνιες λέξεις στο σώμα
    • Συγκάλυψη ολόκληρων προτάσεων ταυτόχρονα
    • Ποτέ μην συγκαλύπτετε το ίδιο διακριτικό δύο φορές σε ένα σώμα
    • Δημιουργία νέου μοτίβου μάσκας κάθε φορά που εμφανίζεται μια ακολουθία
  4. Πώς συγκρίθηκαν τα δεδομένα εκπαίδευσης του RoBERTa με αυτά του BERT;
    • Χρησιμοποιούσε το ίδιο κείμενο 16 GB
    • Χρησιμοποίησε περίπου 160 GB, περίπου 10 φορές περισσότερο
    • Χρησιμοποιούσε λιγότερα δεδομένα αλλά καθαρότερες ετικέτες
    • Χρησιμοποιούσε μόνο Wikipedia
  5. Ποιος οργανισμός κυκλοφόρησε το RoBERTa;
    • Facebook AI (Meta)
    • Google Τεχνητή Νοημοσύνη
    • OpenAI
    • Microsoft Έρευνα
  6. Πώς ονομάζεται η πολύγλωσση έκδοση του RoBERTa;
    • mBERT
    • RoBERTa-XL
    • XLM-R (XLM-RoBERTa)
    • PolyRoBERTa
  7. Which text encoding did the RoBERTa recipe use according to the guide?
    • A fixed vocabulary of complete words only
    • Byte-level byte-pair encoding
    • One image patch per token
    • A phoneme-only vocabulary
  8. A researcher credits a new layer for beating BERT but also changes the data volume and training duration. Which lesson from RoBERTa matters?
    • Architecture changes always explain every improvement
    • Training duration can be ignored if the benchmark is the same
    • Data volume cannot affect an encoder
    • Training choices can account for gains, so they must be considered when comparing models