Κουίζ που συνδέεται με οδηγό · Μεσαίο Επίπεδο

Κουίζ Architectures Encoder-Decoder

Ελέγξτε τα στοιχεία του μοντέλου κωδικοποιητή-αποκωδικοποιητή, την προσοχή από την πηγή στο στόχο και τις χρήσεις κειμένου σε κείμενο σε εργασίες μετάφρασης και γλώσσας.

Σχετικές διαδρομές οδηγώνEncoder Decoder Architectures
Ερώτηση 1 του 8

Ποια είναι η κύρια εργασία του κωδικοποιητή σε ένα μοντέλο κωδικοποιητή-αποκωδικοποιητή;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Ποια είναι η κύρια εργασία του κωδικοποιητή σε ένα μοντέλο κωδικοποιητή-αποκωδικοποιητή;
    • Για να διαβάσετε την είσοδο και να την μετατρέψετε σε πλούσιες εσωτερικές αναπαραστάσεις
    • Για να δημιουργήσετε την έξοδο ένα διακριτικό τη φορά
    • Για την ταξινόμηση των αποτελεσμάτων των υποψηφίων κατά πιθανότητα
    • Για να αποθηκεύσετε τα δεδομένα εκπαίδευσης του μοντέλου
  2. Γιατί ο αποκωδικοποιητής χρησιμοποιεί καλυμμένη (αιτιατική) αυτοπροσοχή;
    • Για απόκρυψη της εισόδου από τον κωδικοποιητή
    • Για να αποτρέψετε κάθε θέση να δει μελλοντικά διακριτικά κατά τη διάρκεια της παραγωγής
    • Για να συμπιέσετε την έξοδο σε λιγότερα token
    • Τυχαία απόθεση κουπονιών για τακτοποίηση
  3. Ποιος μηχανισμός συνδέει τον αποκωδικοποιητή με τις αναπαραστάσεις του κωδικοποιητή;
    • Εγκατάλειψη
    • Ομαλοποίηση παρτίδας
    • Διασταυρούμενη προσοχή
    • Κωδικοποίηση θέσης
  4. Ποιο από αυτά τα μοντέλα είναι αρχιτεκτονική κωδικοποιητή-αποκωδικοποιητή (sequence-to-sequence);
    • GPT-3
    • ΜΠΕΡΤ
    • Word2Vec
    • Τ5
  5. Γιατί ο σχεδιασμός κωδικοποιητή-αποκωδικοποιητή είναι φυσικός κατάλληλος για μετάφραση;
    • Επειδή η είσοδος και η έξοδος είναι διαφορετικές ακολουθίες, που απαιτούν πλήρη κατανόηση και στη συνέχεια νέα παραγωγή
    • Επειδή η είσοδος και η έξοδος έχουν πάντα το ίδιο μήκος
    • Γιατί ποτέ δεν χρειάζεται να δημιουργήσει νέο κείμενο
    • Επειδή αποφεύγει να χρησιμοποιεί εντελώς την προσοχή
  6. In the original Transformer architecture, what attention does the encoder use over its input sequence?
    • Causal attention that hides all earlier source tokens
    • Bidirectional self-attention over the full source sequence
    • Cross-attention only to an image sequence
    • No attention mechanism
  7. What training objective does BART use for pretraining?
    • It predicts only the next pixel in an image
    • It classifies each word into a fixed sentiment label
    • It corrupts text and trains a sequence-to-sequence denoising model to reconstruct the original
    • It performs speech recognition from raw audio
  8. How does T5 frame many NLP tasks for one encoder-decoder model?
    • As image classification with a shared label set
    • As speech waveforms with no text tokens
    • As separate model architectures for each task
    • As text-to-text inputs and outputs with task descriptions in the input text