Κουίζ που συνδέεται με οδηγό · Μεσαίο Επίπεδο

Κουίζ Logit Lens and Tuned Lens

Ελέγχει τις ενδείξεις ενδιάμεσου επιπέδου, τη δομή υπολειπόμενης ροής, τον συντονισμένο μεταφραστή φακού και τους περιορισμούς του πρωτογενούς φακού logit.

Σχετικές διαδρομές οδηγώνLogit Lens and Tuned Lens
Ερώτηση 1 του 8

Τι κάνει ο φακός logit;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Τι κάνει ο φακός logit;
    • Εφαρμόζει την τελική αποσύνδεση του μοντέλου σε ενδιάμεσες κρυφές καταστάσεις για ανάγνωση προβλέψεων ανά επίπεδο
    • Προσθέτει νέα στρώματα σε έναν μετασχηματιστή
    • Αφαιρεί την προσοχή από το μοντέλο
    • Μεταφράζει μεταξύ ανθρώπινων γλωσσών
  2. Ποια βασική βελτίωση προσθέτει ο συντονισμένος φακός σε σχέση με τον ακατέργαστο φακό logit;
    • Χρησιμοποιεί μεγαλύτερο λεξιλόγιο
    • Εκπαιδεύει έναν μικρό συγγενικό χάρτη ανά επίπεδο για να μεταφράζει τις κρυφές καταστάσεις στην τελική βάση
    • Εξαλείφει την ανάγκη για οποιαδήποτε αποδέσμευση
    • Λειτουργεί μόνο σε μοντέλα εικόνας
  3. Ποια δομή στους μετασχηματιστές καθιστά δυνατούς αυτούς τους φακούς;
    • Τα συνελικτικά φίλτρα
    • Το tokenizer
    • Το προσθετικό υπολειμματικό ρεύμα που προβάλλει αργότερα η μη ενσωμάτωση στο logit
    • Το ποσοστό εκμάθησης του βελτιστοποιητή
  4. Ποιος παρουσίασε τον αρχικό φακό logit και περίπου πότε;
    • DeepMind το 2015
    • OpenAI το 2018
    • Google το 2012
    • νοσταλγεβριστής το 2020
  5. Πού ο φακός logit δείχνει συχνά την τελική απάντηση «κρυστάλλωση»;
    • Σε μεσαίες προς όψιμες στρώσεις
    • Μόνο στην πρώτη στρώση
    • Ποτέ, η απάντηση εμφανίζεται ταυτόχρονα
    • Έξω από το μοντέλο εντελώς
  6. Γιατί μπορεί ο ακατέργαστος φακός logit να είναι αναξιόπιστος στα πρώτα επίπεδα;
    • Τα πρώιμα στρώματα δεν έχουν νευρώνες
    • Οι κρυφές καταστάσεις τους δεν είναι ακόμη ευθυγραμμισμένες με την τελική βάση παραγωγής που αναμένει η μη ενσωμάτωση
    • Τα πρώιμα στρώματα δεν χρησιμοποιούνται ποτέ στην πρόβλεψη
    • Ο πίνακας μη ενσωμάτωσης είναι τυχαίος
  7. What does the model’s final unembedding map a residual-stream vector into?
    • A new set of transformer layers
    • A similarity graph over training examples
    • Vocabulary logits that can be converted into token probabilities
    • A gradient clipping threshold
  8. Why can an early-layer raw logit-lens prediction be misleading?
    • The layer has already generated the full answer
    • The tokenizer has been removed
    • The unembedding only works on images
    • The intermediate state may not yet be aligned with the final output basis