Κουίζ μοντελοποίησης μάσκας γλώσσας

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Ποια είναι η βασική εκπαιδευτική εργασία στη μοντελοποίηση γλωσσών με μάσκα;
   • Πρόβλεψη σκόπιμα κρυμμένων λέξεων από το περιβάλλον περιβάλλον
   • Πρόβλεψη της επόμενης λέξης μετά από μια πρόταση
   • Μετάφραση κειμένου μεταξύ δύο γλωσσών
   • Κατάταξη προτάσεων με γραμματική ορθότητα
2. Χονδρικά τι ποσοστό των μαρκών καλύπτει συνήθως το BERT κατά τη διάρκεια της προπόνησης;
   • Περίπου 50%
   • Περίπου 15%
   • Περίπου 1%
   • Περίπου 90%
3. Γιατί το MLM δίνει σε ένα μοντέλο αμφίδρομη κατανόηση;
   • Διαβάζει προτάσεις προς τα πίσω
   • Χρησιμοποιεί δύο ξεχωριστά μοντέλα
   • Κάθε κουπόνι φροντίζει τις λέξεις τόσο στα αριστερά όσο και στα δεξιά του
   • Κοιτάζει μόνο την προηγούμενη λέξη
4. Στο σύστημα κάλυψης του BERT, τι συμβαίνει στο 10% περίπου των επιλεγμένων θέσεων αντί να γίνουν [MASK];
   • Διαγράφονται εντελώς
   • Είναι διπλές
   • Είναι κεφαλαία
   • Αντικαθίστανται με μια τυχαία λέξη
5. Σε ποιες θέσεις υπολογίζεται η απώλεια MLM;
   • Μόνο οι μασκοφόροι θέσεις
   • Κάθε ένδειξη στην πρόταση
   • Μόνο το πρώτο και το τελευταίο μάρκες
   • Μόνο σημεία στίξης
6. Σε σύγκριση με την επόμενη πρόβλεψη, τι ανταλλάσσει το MLM;
   • Η ικανότητα χρήσης πλαισίου
   • Η δυνατότητα δημιουργίας ρευστού κειμένου από αριστερά προς τα δεξιά
   • Πρόσβαση σε λεξιλόγιο
   • Η χρήση της προσοχής
7. How does RoBERTa’s dynamic masking differ from BERT’s original setup?
   • It masks only the first token of every sentence
   • It predicts future tokens with a causal decoder
   • The masked positions can be regenerated across training passes instead of remaining fixed
   • It replaces all masked tokens with random numbers
8. What auxiliary objective did the original BERT pretraining recipe combine with MLM?
   • Image patch reconstruction
   • Audio speaker diarization
   • A reward model for code generation
   • Next-sentence prediction