Κουίζ υπέρθεσης και πολυσημασίας

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Τι σημαίνει η «υπέρθεση» στα νευρωνικά δίκτυα;
   • Αντιπροσώπευση περισσότερων χαρακτηριστικών από ό,τι υπάρχουν νευρώνες, επικαλύπτοντας τις κατευθύνσεις τους
   • Στοίβαξη πολλαπλών μοντέλων το ένα πάνω στο άλλο
   • Εκτέλεση του μοντέλου δύο φορές και κατά μέσο όρο
   • Προσθήκη θορύβου στις εισόδους κατά τη διάρκεια της προπόνησης
2. Ποια συνθήκη κάνει την υπέρθεση να λειτουργεί καλά παρά τις παρεμβολές χαρακτηριστικών;
   • Χαρακτηριστικά που είναι πυκνά ενεργά όλη την ώρα
   • Τα χαρακτηριστικά είναι αραιά, τόσο λίγα είναι ενεργά ταυτόχρονα
   • Χρησιμοποιώντας μόνο θετικές ενεργοποιήσεις
   • Έχοντας περισσότερους νευρώνες παρά χαρακτηριστικά
3. Τι είναι ένας «πολυσημασιολογικός» νευρώνας;
   • Ένας νευρώνας που δεν ενεργοποιείται ποτέ
   • Ένας νευρώνας που χρησιμοποιείται μόνο στο στρώμα εξόδου
   • Ένας νευρώνας που ανταποκρίνεται σε πολλές άσχετες έννοιες
   • Ένας νευρώνας χωρίς συνδέσεις
4. Ποιο έγγραφο Anthropic εισήγαγε ελεγχόμενη μελέτη αυτού του φαινομένου το 2022;
   • Η προσοχή είναι το μόνο που χρειάζεστε
   • Ταξινόμηση ImageNet με Deep CNN
   • Παίζοντας Atari με το Deep RL
   • Toy Models of Superposition
5. Εάν ένα στρώμα πρέπει να αποθηκεύσει περισσότερα χαρακτηριστικά από όσα έχει διαστάσεις, τι είναι γεωμετρικά αναπόφευκτο;
   • Ορισμένες λειτουργίες πρέπει να μοιράζονται επικαλυπτόμενες, μη ορθογώνιες κατευθύνσεις
   • Τα χαρακτηριστικά μπορούν όλα να παραμείνουν τέλεια ορθογώνια
   • Το δίκτυο πρέπει να καταρρεύσει
   • Όλα τα χαρακτηριστικά γίνονται πανομοιότυπα
6. Γιατί η υπέρθεση κάνει πιο δύσκολη την ερμηνευτικότητα;
   • Κάνει το μοντέλο πιο αργό στη λειτουργία
   • Οι μεμονωμένοι νευρώνες δεν αντιστοιχίζονται πλέον καθαρά σε μεμονωμένες έννοιες
   • Αφαιρεί όλα τα χαρακτηριστικά από το μοντέλο
   • Επηρεάζει μόνο το επίπεδο εισόδου
7. Why does sparse feature activity reduce interference when more features than dimensions are represented?
   • Sparse activity makes all feature directions orthogonal
   • It increases the number of neurons automatically
   • Fewer features are active at the same time, so overlapping directions collide less often
   • It removes the need for nonlinear computation
8. What does an antipodal pair of feature directions look like geometrically?
   • Two vectors at a right angle in separate dimensions
   • Two vectors with identical directions and magnitudes
   • A vector with no coordinates
   • Two directions that point opposite ways along the same line