Κουίζ για ενσωματώσεις περιστροφικής θέσης

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Πώς το RoPE εγχέει τις πληροφορίες θέσης σε έναν μετασχηματιστή;
   • Περιστρέφοντας ζεύγη διαστάσεων στο ερώτημα και τα διανύσματα κλειδιών κατά γωνία που εξαρτάται από τη θέση
   • Προσθέτοντας ένα σταθερό διάνυσμα στις ενσωματώσεις εισόδου
   • Με την αναδιάταξη των κουπονιών τυχαία
   • Προσθέτοντας τον αριθμό θέσης ως κείμενο
2. Μετά την εφαρμογή RoPE, η βαθμολογία προσοχής μεταξύ δύο κουπονιών εξαρτάται κυρίως από:
   • Μόνο οι απόλυτες θέσεις τους
   • Η σχετική τους απόσταση (m μείον n)
   • Το μέγεθος του λεξιλογίου
   • Το μέγεθος της παρτίδας
3. Ποια σύγκριση εκπαίδευσης-αποτελεσματικότητας ανέφερε το έγγραφο YaRN για επέκταση περιβάλλοντος;
   • Ακριβώς τα ίδια δεδομένα και βήματα με όλες τις προηγούμενες μεθόδους
   • Δεν υπάρχουν δεδομένα μικρορύθμισης ή εκπαίδευσης κανενός είδους
   • Περίπου 10 φορές λιγότερα διακριτικά και 2,5 φορές λιγότερα βήματα εκπαίδευσης από προηγούμενες μεθόδους
   • Σταθερή αύξηση 100x στα διακριτικά εξόδου
4. Γιατί διαφορετικά ζεύγη διαστάσεων περιστρέφονται σε διαφορετικές συχνότητες στο RoPE;
   • Για εξοικονόμηση μνήμης παρακάμπτοντας ορισμένες διαστάσεις
   • Για τυχαιοποίηση των εξόδων του μοντέλου
   • Επειδή όλα τα ζευγάρια πρέπει να χρησιμοποιούν την ίδια γωνία
   • Για να καταγράψετε τόσο εξαιρετική τοπική παραγγελία όσο και θέση μεγάλης εμβέλειας
5. Ποιος είναι ο στόχος τεχνικών όπως η παρεμβολή θέσης και το YaRN για μοντέλα που βασίζονται σε RoPE;
   • Επεκτείνετε το χρησιμοποιήσιμο μήκος περιβάλλοντος πέρα από το αρχικό παράθυρο εκπαίδευσης χρησιμοποιώντας πρόσθετες μεθόδους κλιμάκωσης/μικροσυντονισμού
   • Εγγύηση ακριβούς ανάκλησης σε οποιοδήποτε μήκος ακολουθίας χωρίς αξιολόγηση
   • Αφαιρέστε τις πληροφορίες θέσης από την προσοχή
   • Αντικαταστήστε όλες τις ενσωματώσεις διακριτικών με απόλυτα μαθημένα διανύσματα
6. Απαιτεί το τυπικό RoPE από μαθημένα διανύσματα απόλυτης θέσης για την εισαγωγή θέσης στο ερώτημα και τις αναπαραστάσεις κλειδιών;
   • Ναί; Προσθέτει ένα μαθημένο διάνυσμα για κάθε πιθανή θέση ακολουθίας
   • Όχι. εφαρμόζει περιστροφές που εξαρτώνται από τη θέση σε ζευγαρωμένες διαστάσεις ερωτήματος/κλειδιού
   • Καταργεί εξ ολοκλήρου τα διανύσματα ερωτημάτων και κλειδιών
   • It only adds position to value vectors
7. What does standard RoPE alone guarantee about a model’s context length?
   • Unlimited accurate context at every position
   • A fixed context of exactly 128 tokens
   • It does not by itself guarantee reliable use beyond the trained context length
   • Removal of the attention mechanism
8. What extended context length did the Position Interpolation paper report for its LLaMA evaluations?
   • Exactly 1,000 tokens with no position changes
   • Unlimited context with no fine-tuning
   • Up to 2 million tokens for all models
   • Up to 32,768 tokens with minimal fine-tuning