Κουίζ που συνδέεται με οδηγό · Μεσαίο Επίπεδο

Κουίζ ELMo Contextual Embeddings

Ελέγξτε πώς το μοντέλο γλώσσας αμφίδρομης κατεύθυνσης της ELMo δημιουργεί διανύσματα λέξεων με ευαισθησία στο πλαίσιο και συνδυάζει επαναλαμβανόμενα επίπεδα για εργασίες κατάντη.

Σχετικές διαδρομές οδηγώνElmo Contextual Embeddings
Ερώτηση 1 του 8

Ποια είναι η βασική διαφορά μεταξύ του ELMo και των προηγούμενων ενσωματώσεων όπως το Word2Vec;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Ποια είναι η βασική διαφορά μεταξύ του ELMo και των προηγούμενων ενσωματώσεων όπως το Word2Vec;
    • Το ELMo δίνει στην ίδια λέξη διαφορετικά διανύσματα ανάλογα με το πλαίσιο της πρότασης
    • Το ELMo χρησιμοποιεί μικρότερα διανύσματα
    • Το ELMo λειτουργεί μόνο σε μεμονωμένες λέξεις, όχι σε προτάσεις
    • Το ELMo δεν απαιτεί δεδομένα εκπαίδευσης
  2. Ποια νευρωνική αρχιτεκτονική χρησιμοποιεί το ELMo για την ανάγνωση κειμένου;
    • Ένας μετασχηματιστής με αυτοσυγκέντρωση
    • Ένα βαθύ αμφίδρομο μοντέλο γλώσσας LSTM
    • Ένα συνελικτικό δίκτυο εικόνων
    • Ένα απλό δίκτυο προώθησης
  3. Πώς συνδυάζει το ELMo τα εσωτερικά του στρώματα για μια εργασία κατάντη;
    • Χρησιμοποιεί μόνο το τελικό ανώτερο στρώμα
    • Εκφράζει τον μέσο όρο όλων των επιπέδων εξίσου και διορθώνει το αποτέλεσμα
    • Χρησιμοποιεί μαθησμένους, σταθμισμένους συνδυασμούς για κάθε εργασία όλων των επιπέδων
    • Επιλέγει ένα στρώμα τυχαία κάθε φορά
  4. Τι χρησιμοποιεί η ELMo ως μονάδες εισόδου για να χειριστεί αόρατες λέξεις;
    • Μόνο αναζήτηση ολόκληρων λέξεων
    • Διορθώθηκαν τα αναγνωριστικά λεξικών
    • Υπολέξεις με κωδικοποίηση ζευγών byte από το BERT
    • Αναπαραστάσεις CNN σε επίπεδο χαρακτήρων
  5. Πότε περίπου εισήχθη η ELMo και από ποιον;
    • 2018, από το Allen Institute for AI ερευνητές
    • 2013, από την ομάδα του Word2Vec του Google
    • 2020, από OpenAI
    • 2015, από το Facebook AI
  6. Which corpus was used to train the bidirectional language model described in the ELMo paper?
    • The One Billion Word Benchmark
    • The Penn Treebank only
    • A corpus of labeled images
    • The GloVe Common Crawl vectors
  7. What language-model prediction does ELMo's forward LSTM learn?
    • Predicting the previous word from future context
    • Assigning a fixed vector to every document
    • Predicting the next word from the preceding context
    • Predicting a sentence's image resolution
  8. What linguistic information do ELMo's lower and higher LSTM layers tend to capture?
    • Lower layers encode image color, while higher layers encode audio pitch
    • Every layer stores only word frequency and ignores context
    • Higher layers are always limited to punctuation prediction
    • Lower layers tend toward syntax, while higher layers capture more context-dependent semantics