Κουίζ που συνδέεται με οδηγό · Σκληρό Επίπεδο

Κουίζ YaRN και επέκτασης μήκους περιβάλλοντος

Ελέγχει τον τρόπο με τον οποίο το YaRN προσαρμόζει τις συχνότητες RoPE, διατηρεί τις τοπικές λεπτομέρειες, κλιμακώνει τη θερμοκρασία της προσοχής και επεκτείνει το πλαίσιο με λεπτομέρεια.

Σχετικές διαδρομές οδηγώνΕπέκταση μήκους νήματος και περιβάλλοντος
Ερώτηση 1 του 8

Ποια μέθοδο κωδικοποίησης θέσης τροποποιεί το YaRN για να επεκτείνει το περιβάλλον;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Ποια μέθοδο κωδικοποίησης θέσης τροποποιεί το YaRN για να επεκτείνει το περιβάλλον;
    • Ενσωματώσεις περιστροφικής θέσης (RoPE)
    • Απόλυτες ημιτονοειδείς ενσωματώσεις
    • Έμαθες πίνακες αναζήτησης θέσης
    • Μόνο πίνακες σχετικής μεροληψίας
  2. Τι πάει στραβά όταν ένα μοντέλο RoPE βλέπει ακολουθίες μεγαλύτερες από τη διάρκεια της προπόνησής του;
    • Το tokenizer καταρρέει
    • Οι γωνίες περιστροφής εισέρχονται σε αόρατα εύρη και η απόδοση καταρρέει
    • Το μοντέλο βγάζει μόνο μηδενικά
    • Οι κλίσεις γίνονται ακριβώς ένα
  3. Πώς αντιμετωπίζει το YaRN διαφορετικές διαστάσεις συχνότητας RoPE;
    • Παρεμβάλλει όλες τις διαστάσεις εξίσου
    • Διαγράφει διαστάσεις υψηλής συχνότητας
    • Παρεμβάλλει τις διαστάσεις χαμηλής συχνότητας, ενώ διατηρεί σε μεγάλο βαθμό τις διαστάσεις υψηλής συχνότητας
    • Τυχαιοποιεί κάθε διάσταση
  4. Εκτός από την επανακλιμάκωση των συχνοτήτων, ποια πρόσθετη ρύθμιση εφαρμόζεται το YaRN;
    • Ένα νέο tokenizer
    • Διπλασιασμός του αριθμού των στρώσεων
    • Αφαίρεση κανονικοποίησης στρώματος
    • Ρύθμιση θερμοκρασίας προσοχής (softmax scaling).
  5. Ποιο είναι το βασικό πρακτικό πλεονέκτημα του YaRN έναντι της αφελούς παρεμβολής;
    • Φτάνει σε μεγάλο πλαίσιο με πολύ λιγότερα δεδομένα και βήματα λεπτομέρειας
    • Δεν χρειάζεται κανένα μοντέλο
    • Λειτουργεί μόνο κάτω από 512 μάρκες
    • Εξαλείφει την ανάγκη για GPU
  6. Γιατί είναι επιβλαβής η απλή γραμμική παρεμβολή όλων των συχνοτήτων RoPE;
    • Επηρεάζει μόνο τους όρους μεροληψίας
    • Συμπιέζει διαστάσεις υψηλής συχνότητας που κωδικοποιούν τοπικές λεπτομέρειες
    • Κάνει το μοντέλο μεγαλύτερο
    • Αλλάζει το μέγεθος του λεξιλογίου
  7. In RoPE, which vectors receive position-dependent rotations?
    • Only the value vectors
    • Only the model’s token IDs
    • The query and key vectors
    • The optimizer’s gradient and momentum
  8. What does YaRN’s attention-temperature adjustment address when context length is extended?
    • The number of GPU layers
    • The dimensions of the token vocabulary
    • The weight decay coefficient
    • Changes in attention entropy or softmax sharpness caused by the longer context