Κουίζ που συνδέεται με οδηγό · Σκληρό Επίπεδο

Κουίζ γραμμικής προσοχής RWKV

Εξερευνήστε την πύλη υποδοχής του RWKV, τη χρονική αποσύνθεση, την επανάληψη κλειδιού/τιμής, την κατάσταση σταθερού μεγέθους και τη φόρμα παράλληλης εκπαίδευσης που μοιάζει με μετασχηματιστή.

Σχετικές διαδρομές οδηγώνRwkv Γραμμική Προσοχή
Ερώτηση 1 του 8

Ποια είναι η ιδιότητα επικεφαλίδας του RWKV;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Ποια είναι η ιδιότητα επικεφαλίδας του RWKV;
    • Εκπαιδεύεται σαν μετασχηματιστής, αλλά εκτελεί συμπεράσματα όπως ένα RNN
    • Μπορεί να εκπαιδευτεί μόνο σε εικόνες
    • Απαιτεί μια τετραγωνική κρυφή μνήμη κλειδιού-τιμής
    • Δεν μπορεί να παραλληλιστεί καθόλου
  2. Τι σημαίνουν τα γράμματα στο RWKV;
    • Διαβάστε, γράψτε, κρατήστε, επαληθεύστε
    • Αποδοχή, Βάρος, Κλειδί, Αξία
    • Recurrent, Wide, Kernel, Vector
    • Τυχαία, Σταθμισμένη, Γνώση, Παραλλαγή
  3. Πώς το RWKV διατηρεί σταθερή τη μνήμη κατά τη διάρκεια της παραγωγής;
    • Διαγράφοντας τα βάρη του μοντέλου
    • Αποθηκεύοντας κάθε διακριτικό στο δίσκο
    • Μεταφέροντας μια κρυφή κατάσταση μικρού σταθερού μεγέθους προς τα εμπρός αντί για μια αυξανόμενη κρυφή μνήμη
    • Περιορίζοντας τις εξόδους σε δέκα μάρκες
  4. Τι ρόλο παίζει το βάρος χρονικής αποσύνθεσης (W);
    • Καθορίζει το ρυθμό εκμάθησης
    • Μετράει τον αριθμό των κουπονιών
    • Επιλέγει τη γλώσσα εξόδου
    • Ελέγχει πόσο γρήγορα οι παλαιότερες πληροφορίες χάνουν την επιρροή τους
  5. Σε σύγκριση με την προσοχή softmax, τι αποφεύγει η επανάληψη γραμμικής προσοχής του RWKV;
    • Η τετραγωνική σύγκριση συμβολικών όλων των ζευγών
    • Οποιαδήποτε χρήση κλειδιών και τιμών
    • Η ανάγκη για ενσωματώσεις
    • Η χρήση των νευρωνικών δικτύων
  6. Γιατί το RWKV είναι ιδιαίτερα κατάλληλο για τη δημιουργία ροής;
    • Επειδή πρέπει να βλέπει ολόκληρη την είσοδο πριν από οποιαδήποτε έξοδο
    • Επειδή κάθε νέο διακριτικό εξαρτάται μόνο από την προηγούμενη κατάσταση σταθερού μεγέθους
    • Επειδή δεν μπορεί να δημιουργήσει κείμενο
    • Επειδή χρειάζεται ένα σύμπλεγμα GPU για κάθε διακριτικό
  7. In the guide’s RWKV description, what does the receptance gate control?
    • How many image patches are generated
    • The size of the model vocabulary
    • How much of the accumulated state is read out
    • The amount of GPU memory available
  8. What training property does RWKV retain from Transformers?
    • Full quadratic key-value caching at inference
    • A separate generator and discriminator
    • A fixed top-k token router in every layer
    • Parallelizable training across sequence positions