Παρεμβολή θέσης για κουίζ μεγάλου πλαισίου

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Ποια είναι η βασική ιδέα πίσω από την παρεμβολή θέσης;
   • Συμπίεση νέων δεικτών θέσης στο εύρος στο οποίο είχε ήδη εκπαιδευτεί το μοντέλο
   • Εκπαίδευση ενός ολοκαίνουργιου μοντέλου από την αρχή για κάθε μήκος
   • Πλήρης κατάργηση των πληροφοριών θέσης
   • Ταξινόμηση των διακριτικών κατά σπουδαιότητα
2. Γιατί αποτυγχάνει η αφελής προέκταση σε μεγαλύτερες θέσεις;
   • Χρησιμοποιεί πολύ λίγη μνήμη
   • Μπορεί να ανατινάξει τα σκορ της προσοχής σε εξαιρετικά μεγάλες, ασταθείς τιμές
   • Επιστρέφει πάντα το ίδιο διακριτικό
   • Απαιτεί διαφορετικό tokenizer
3. Πόση λεπτομέρεια χρειάστηκε περίπου η αρχική εργασία PI για την επέκταση του LLaMA στα 32K;
   • Καθόλου μικρορύθμιση
   • Περίπου 1 εκατομμύριο βήματα
   • Περίπου 1.000 βήματα
   • Πλήρης προπόνηση
4. Εάν επεκτείνετε το περιβάλλον κατά έναν παράγοντα s, πώς μετατρέπει το PI μια θέση m;
   • Αντιστοιχίζει m σε m επί s
   • Αντιστοιχίζει το m στο m στο τετράγωνο
   • Αφήνει το m αναλλοίωτο
   • Αντιστοιχίζει το m σε m διαιρούμενο με το s
5. Πώς επηρέασε το PI μεταγενέστερες μεθόδους όπως το YaRN;
   • Έγινε η βασική γραμμή στην οποία βελτιώθηκαν οι μέθοδοι με επίγνωση συχνότητας
   • Εγκαταλείφθηκε και δεν αναφέρθηκε ποτέ
   • Αντικατέστησε την αρχιτεκτονική του Transformer
   • Ισχύει μόνο για μοντέλα εικόνας
6. Ποια κωδικοποίηση θέσης στοχεύει κυρίως η παρεμβολή θέσης;
   • Κωδικοποιήσεις μίας υψηλής ταχύτητας
   • RoPE (Ενσωματώσεις περιστροφικής θέσης)
   • Διανύσματα Word2Vec
   • Η τσάντα με τις λέξεις μετράει
7. A model trained to position 2K tokens is extended to 32K using PI. What is the extension factor s?
   • 2
   • 8
   • 16
   • 32
8. With extension factor s = 16, where does PI map original position m = 16,000?
   • Position 16,000
   • Position 256,000
   • Position 32,000
   • Position 1,000