Κουίζ που συνδέεται με οδηγό · Μεσαίο Επίπεδο

Κουίζ προπόνησης ΗΛΕΚΤΡΑ

Εξηγεί την ανίχνευση αντικατασταθέντων διακριτικών, τους ρόλους δημιουργίας και διάκρισης, τη μάθηση σε όλες τις θέσεις διακριτικών και τα όρια των συγκρίσεων υπολογισμού.

Σχετικές διαδρομές οδηγώνElectra Προεκπαίδευση
Ερώτηση 1 του 8

Ποια εργασία προεκπαίδευσης χρησιμοποιεί το ELECTRA αντί για μοντελοποίηση γλώσσας με μάσκα;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Ποια εργασία προεκπαίδευσης χρησιμοποιεί το ELECTRA αντί για μοντελοποίηση γλώσσας με μάσκα;
    • Αντικαταστάθηκε η ανίχνευση διακριτικού
    • Πρόβλεψη επόμενης πρότασης
    • Αυτοπαλινδρομική πρόβλεψη επόμενης λέξης
    • Μοντελοποίηση γλώσσας μετάθεσης
  2. Γιατί το ELECTRA είναι πιο αποδοτικό στον υπολογισμό από το BERT;
    • Χρησιμοποιεί πολύ μικρότερο λεξιλόγιο
    • Υπολογίζει ένα σήμα εκμάθησης για όλα τα διακριτικά, όχι μόνο για τα καλυμμένα
    • Εκπαιδεύεται μόνο στο καλυμμένο 15% των μαρκών
    • Παρακάμπτει εντελώς τον μηχανισμό προσοχής
  3. Τι ρόλο παίζει το δίκτυο μικρών ηλεκτροπαραγωγών στην ΗΛΕΚΤΡΑ;
    • Κατατάσσει τα τελικά αποτελέσματα κατά ποιότητα
    • Συμπιέζει το μοντέλο μετά την προπόνηση
    • Παράγει εύλογα διακριτικά αντικατάστασης για να τα κρίνει ο υπεύθυνος διάκρισης
    • Μεταφράζει κείμενο μεταξύ γλωσσών
  4. Τι συμβαίνει με τη γεννήτρια μετά την ολοκλήρωση της προεκπαίδευσης;
    • Είναι βελτιστοποιημένο για την κατάντη εργασία
    • Συγχωνεύεται με το διακριτικό
    • Γίνεται ο αποκωδικοποιητής για τη γενιά
    • Απορρίπτεται. χρησιμοποιείται μόνο ο διαχωριστής
  5. Το ELECTRA αναπτύχθηκε κυρίως από ερευνητές από ποιους οργανισμούς;
    • Google και το Stanford
    • Meta AI και NYU
    • OpenAI και Microsoft
    • DeepMind και Οξφόρδη
  6. Ποιο μεταγενέστερο μοντέλο επέκτεινε την ιδέα ανίχνευσης αντικατάστασης διακριτικού της ELECTRA;
    • GPT-2
    • DeBERTa-v3
    • Τ5
    • Word2Vec
  7. What happens if ELECTRA’s generator proposes the original token at a position?
    • It is always labeled replaced because the generator proposed it
    • The position is removed from the input
    • That token is treated as original by the discriminator’s replaced-token label
    • The whole sequence is discarded
  8. When comparing ELECTRA with another pretraining method, what makes a compute claim meaningful?
    • Compare model names alone
    • Assume every ELECTRA run uses one fixed compute ratio
    • Ignore generator training cost
    • Specify model size, data, training budget, and evaluation setting