Κουίζ που συνδέεται με οδηγό · Σκληρό Επίπεδο

Κουίζ Μηχανικής Διεύθυνσης Ενεργοποίησης και Αναπαράστασης

Ελέγχει τον τρόπο με τον οποίο εκτιμώνται τα διανύσματα διεύθυνσης ενεργοποίησης, εφαρμόζονται στο συμπέρασμα και κλιμακώνονται, μαζί με κινδύνους από γενίκευση εξαρτώμενη από την άμεση.

Σχετικές διαδρομές οδηγώνΜηχανική Διεύθυνσης Ενεργοποίησης και Αναπαράστασης
Ερώτηση 1 του 8

Σε ποιο σημείο της λειτουργίας του μοντέλου παρεμβαίνει το σύστημα διεύθυνσης ενεργοποίησης;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Σε ποιο σημείο της λειτουργίας του μοντέλου παρεμβαίνει το σύστημα διεύθυνσης ενεργοποίησης;
    • Κατά το χρόνο συμπερασμάτων, τροποποιώντας τις κρυφές ενεργοποιήσεις
    • Μόνο κατά την προπόνηση
    • Κατά τη συλλογή δεδομένων
    • Μόνο μετά την εκτύπωση του κειμένου εξόδου
  2. Πώς υπολογίζεται συνήθως ένα διάνυσμα διεύθυνσης;
    • Αρχικοποιώντας τυχαία έναν πίνακα
    • Ως μέση διαφορά μεταξύ ενεργοποιήσεων σε αντίθεση θετικών και αρνητικών προτροπών
    • Διαγράφοντας επίπεδα από το μοντέλο
    • Μετρώντας τα κουπόνια στην προτροπή
  3. Ποια υπόθεση βασίζεται στο γιατί λειτουργεί το σύστημα διεύθυνσης ενεργοποίησης;
    • Η ιδέα ότι τα μοντέλα αποθηκεύουν δεδομένα ως απλό κείμενο
    • Η πεποίθηση ότι όλοι οι νευρώνες είναι πανομοιότυποι
    • Η υπόθεση της γραμμικής αναπαράστασης, ότι πολλά χαρακτηριστικά είναι χονδρικά γραμμικές κατευθύνσεις
    • Ο ισχυρισμός ότι τα μοντέλα δεν μπορούν να αντιπροσωπεύουν έννοιες
  4. Τι σημαίνει ο συντελεστής κλιμάκωσης σε ένα διάνυσμα διεύθυνσης;
    • Το μέγεθος του λεξιλογίου του μοντέλου
    • Ο αριθμός των επιπέδων στο μοντέλο
    • Το ποσοστό εκμάθησης της εκπαίδευσης
    • Πόσο έντονα ωθείται η συμπεριφορά προς την επιλεγμένη κατεύθυνση
  5. Ποιος είναι ο γνωστός κίνδυνος να οδηγείς ένα μοντέλο πολύ επιθετικά;
    • Η συνοχή και οι δυνατότητες του προϊόντος μπορεί να υποβαθμιστούν
    • Το μοντέλο εκπαιδεύεται αυτόματα
    • Το μέγεθος του αρχείου αυξάνεται ανεξέλεγκτα
    • Ξαναγράφει μόνιμα τα βάρη
  6. Ποια τεχνική συνδυάζεται συχνά με το τιμόνι για να βρεθούν ερμηνεύσιμα χαρακτηριστικά για σύσφιξη;
    • Συμπίεση JPEG
    • Αραιοί αυτόματοι κωδικοποιητές που αποσυνθέτουν τις ενεργοποιήσεις σε λειτουργίες
    • Καταχώρηση ονόματος τομέα
    • Ανασυγκρότηση δίσκου
  7. How does activation steering differ from fine-tuning the model weights?
    • It retrains the model on a new labeled dataset
    • It changes the tokenizer vocabulary
    • It adds a vector to hidden activations during inference without updating the base weights
    • It replaces the attention layers with a classifier
  8. A steering vector works on the prompts used to compute it but not on a different topic. Which limitation does this illustrate?
    • The vector must be an optimizer state
    • Steering always requires fine-tuning
    • A residual stream contains no features
    • The direction found from one prompt set may not generalize to other contexts