Κουίζ που συνδέεται με οδηγό · Μεσαίο Επίπεδο

Κουίζ Διασταυρούμενης Προσοχής

Κατανοήστε πώς η διασταυρούμενη προσοχή επιτρέπει σε μια ακολουθία ή τροπικότητα να αναζητά αναπαραστάσεις από μια άλλη ακολουθία ή τρόπο λειτουργίας σε μοντέλα μετασχηματιστών.

Σχετικές διαδρομές οδηγώνΔιασταυρούμενη Προσοχή
Ερώτηση 1 του 8

Ποια είναι η βασική διαφορά μεταξύ της αυτοπροσοχής και της διασταυρούμενης προσοχής;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Ποια είναι η βασική διαφορά μεταξύ της αυτοπροσοχής και της διασταυρούμενης προσοχής;
    • Σε διασταυρούμενη προσοχή, τα ερωτήματα προέρχονται από μια ακολουθία και τα κλειδιά/τιμές από μια άλλη
    • Η διασταυρούμενη προσοχή δεν χρησιμοποιεί softmax
    • Η αυτοπροσοχή λειτουργεί μόνο σε εικόνες
    • Η διασταυρούμενη προσοχή δεν μπορεί να εκπαιδευτεί με βαθμιδωτή κάθοδο
  2. Σε έναν μετασχηματιστή κωδικοποιητή-αποκωδικοποιητή, από πού προέρχονται τα ερωτήματα για διασταυρούμενη προσοχή;
    • Οι έξοδοι του κωδικοποιητή
    • Η τρέχουσα κατάσταση του αποκωδικοποιητή
    • Μόνο οι ακατέργαστες ενσωματώσεις εισόδου
    • Ένας ξεχωριστός τυχαίος πίνακας
  3. Γιατί οι δύο ακολουθίες σε διασταυρούμενη προσοχή μπορούν να έχουν διαφορετικά μήκη ή τρόπους;
    • Επειδή η προσοχή απαιτεί εισόδους ίσου μήκους
    • Επειδή αγνοεί εντελώς μια από τις ακολουθίες
    • Επειδή τα ερωτήματα και τα κλειδιά προέρχονται από διαφορετικές, ανεξάρτητες πηγές
    • Επειδή τα γεμίζει όλα σε ένα σταθερό μέγεθος πρώτα
  4. Πώς χρησιμοποιεί το Stable Diffusion τη διασταυρούμενη προσοχή;
    • Για συμπίεση εικόνων σε μικρότερα αρχεία
    • Για να μεταφράσετε κείμενο μεταξύ γλωσσών
    • Για να αφαιρέσετε το θόρυβο από τον ήχο
    • Για να ρυθμίσετε τις δημιουργημένες περιοχές εικόνας στη γραμμή εντολών κειμένου
  5. Ποια μαθηματική πράξη μοιράζεται η διασταυρούμενη προσοχή με την αυτοπροσοχή;
    • Κλιμακωμένη προσοχή με κουκκίδες με softmax
    • Συνέλιξη πάνω από pixel
    • Επαναλαμβανόμενες ενημερώσεις κατάστασης
    • Πίνακες αναζήτησης με σκληρό κώδικα
  6. What gate does Flamingo use to control information flow through its cross-attention layers?
    • A hard threshold initialized to one
    • A tanh gate initialized to zero
    • A fixed residual weight of 0.5
    • A learned vocabulary lookup table
  7. What input sequence structure does Flamingo’s paper say its visual-language model can handle?
    • Only one image followed by a fixed-length label
    • Only text tokens with no visual inputs
    • Visual and textual data interleaved in arbitrary sequences
    • Only video frames with no text
  8. What is one purpose of cross-attention in Flamingo’s visual-language architecture?
    • It replaces all text tokens with pixels
    • It prevents any information from passing between modalities
    • It performs only image resizing
    • It lets language-model layers incorporate visual features from image/video inputs