Κουίζ που συνδέεται με οδηγό · Μεσαίο Επίπεδο

Κουίζ προκατάληψης θέσης ALiBi

Ελέγξτε πώς το ALiBi προσθέτει προκαταλήψεις προσοχής με βάση την απόσταση και υποστηρίζει μεγαλύτερες ακολουθίες συμπερασμάτων χωρίς εκμάθηση πινάκων απόλυτης θέσης.

Σχετικές διαδρομές οδηγώνAlibi Position Bias
Ερώτηση 1 του 8

Τι σημαίνει το ALiBi;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Τι σημαίνει το ALiBi;
    • Προσοχή με Γραμμικές Προκαταλήψεις
    • Προσαρμοστική Γραμμική Προκατάληψη
    • Ευθυγραμμισμένη αμφίδρομη κωδικοποίηση
    • Απόλυτη Γραμμική Ευρετηρίαση
  2. Πώς το ALiBi τιμωρεί τα μακρινά διακριτικά;
    • Μηδενίζοντας τις ενσωματώσεις πέρα από ένα σταθερό παράθυρο
    • Προσθέτοντας μια ποινή ανάλογη με την απόσταση μεταξύ ερωτήματος και θέσεων κλειδιών
    • Μαθαίνοντας ξεχωριστή ενσωμάτωση για κάθε θέση
    • Περιστρέφοντας το ερώτημα και τα διανύσματα κλειδιού
  3. Ποιο είναι το πιο διάσημο πρακτικό πλεονέκτημα της ALiBi;
    • Εξαλείφει την ανάγκη για softmax
    • Κάνει την προσοχή να τρέχει σε συνεχή μνήμη
    • Επεκτείνεται καλά σε ακολουθίες μεγαλύτερες από αυτές που παρατηρούνται στην προπόνηση
    • Καταργεί την ανάγκη για πολλαπλές κεφαλές προσοχής
  4. Τι διαφορετικό έχει η γραμμική προκατάληψη μεταξύ των κεφαλών προσοχής;
    • Κάθε κεφάλι μοιράζεται την ίδια ακριβώς κλίση
    • Οι πλαγιές μαθαίνονται κατά τη διάρκεια της προπόνησης
    • Μόνο το πρώτο κεφάλι δέχεται προκατάληψη
    • Κάθε κεφάλι έχει τη δική του σταθερή κλίση, σχηματίζοντας μια γεωμετρική ακολουθία
  5. Σε σύγκριση με τις παραδοσιακές ενσωματώσεις θέσης, το ALiBi προσθέτει πόσες μαθημένες παραμέτρους;
    • Καμία — οι κλίσεις μεροληψίας είναι σταθερές, δεν μαθαίνονται
    • Ένα ανά θέση
    • Ένα ανά κουπόνι
    • Δύο ανά κεφαλή προσοχής
  6. Ποιο γνωστό μεγάλο μοντέλο χρησιμοποίησε το ALiBi για πληροφορίες θέσης;
    • GPT-2
    • ΜΠΛΟΥΜ
    • ΜΠΕΡΤ
    • Word2Vec
  7. At what stage does ALiBi apply its distance-based bias?
    • To token IDs before they enter the embedding table
    • To the final vocabulary probabilities after decoding
    • To query-key attention scores before the softmax
    • To the training labels after loss calculation
  8. Why can ALiBi support inference on sequences longer than those used in training?
    • It removes the need for attention at longer lengths
    • It automatically retrains the model while generating
    • It stores a complete answer for every possible sequence length
    • Its distance-based bias does not require a separately learned embedding for every absolute position