Κουίζ Μηχανισμών Προσοχής

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. What does token attention combine when forming an output representation?
   • Permanent copies of the entire conversation on disk
   • Value information from allowed positions using computed weights
   • Only manually chosen keywords with no learned scores
   • A translation dictionary that removes every other token
2. Ποιο έγγραφο ορόσημο του 2017 εισήγαγε την αρχιτεκτονική του μετασχηματιστή;
   • «Βαθιά υπολειπόμενη μάθηση για αναγνώριση εικόνας»
   • «Παίζοντας Atari με Εκμάθηση Βαθιάς Ενίσχυσης»
   • «Η προσοχή είναι το μόνο που χρειάζεστε»
   • «Δημιουργικά ανταγωνιστικά δίκτυα»
3. Ποια είναι τα τρία διανύσματα που υπολογίζονται για κάθε διακριτικό στην προσοχή;
   • Ερώτημα, κλειδί και τιμή
   • Είσοδος, έξοδος και προκατάληψη
   • Μέσος όρος, διάμεσος και τρόπος λειτουργίας
   • Κωδικοποιητής, αποκωδικοποιητής και απώλεια
4. Στον τύπο softmax(QK^T / √d_k) V, γιατί να διαιρέσουμε με √d_k;
   • Για να μετατρέψετε το αποτέλεσμα σε ακέραιους αριθμούς
   • Για να αφαιρέσετε αρνητικούς αριθμούς
   • Για να εκτελέσετε το μοντέλο σε GPU
   • Για να μην γίνουν πολύ μεγάλες οι βαθμολογίες των κουκκίδων πριν από το softmax
5. Why does dense self-attention involve growing pairwise work for very long token sequences?
   • Επειδή πρέπει να κατεβάζει νέα δεδομένα από το διαδίκτυο
   • Επειδή το μεγαλύτερο κείμενο περιέχει πάντα πιο σπάνιες λέξεις
   • Επειδή το κόστος αυξάνεται με το τετράγωνο του μήκους της ακολουθίας (O(n²))
   • Επειδή μεταβαίνει σε μια πιο αργή γλώσσα προγραμματισμού
6. What capacity does multi-head attention provide through separate learned projections?
   • A guarantee that every head has one unique named meaning
   • Several attention representations that can capture different relationships in parallel
   • Removal of every token embedding
   • A reduction of vocabulary size by definition
7. In a scalar attention example, values two and six receive weights three-quarters and one-quarter. What is their weighted output?
   • Οκτώ
   • Τέσσερα
   • Δύο
   • Τρεις
8. What does a causal attention mask prevent in an autoregressive text decoder?
   • Using later token positions when forming the current position's representation
   • Using any previous token
   • Computing any query or key vectors
   • Learning all model parameters