Κουίζ μοντέλων 1-bit και τριαδικού BitNet

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Γιατί το BitNet b1.58 περιγράφεται ότι χρησιμοποιεί περίπου 1,58 bit ανά βάρος;
   • Επειδή κάθε βάρος έχει τρεις πιθανές τιμές (-1, 0, +1) και το log2(3) είναι περίπου 1,58
   • Επειδή στρογγυλοποιείται στα 2 bit
   • Επειδή χρησιμοποιεί 1,58 GB μνήμης
   • Επειδή το 1,58 είναι ο μέσος όρος των 1 και 2 bit
2. Τι κάνει τις λειτουργίες matrix του BitNet φθηνότερες από ό,τι στα τυπικά μοντέλα;
   • Παραλείπουν τον μηχανισμό προσοχής
   • Τα βάρη -1, 0, +1 μετατρέπουν τους πολλαπλασιασμούς σε προσθέσεις και αφαιρέσεις
   • Χρησιμοποιούν μικρότερο λεξιλόγιο
   • Τρέχουν μόνο σε TPU
3. Μια βασική διαφορά μεταξύ του BitNet και του συνηθισμένου κβαντισμού μετά την εκπαίδευση είναι ότι το BitNet:
   • Κβαντίζεται μόνο μετά την ολοκλήρωση της εκπαίδευσης
   • Δεν μπορεί να εκπαιδευτεί καθόλου
   • Εκπαιδεύεται από την αρχή με βάρη χαμηλών bit
   • Χρησιμοποιεί εσωτερικά βάρη 32 bit
4. Κατά τη διάρκεια της εκπαίδευσης, πώς ενημερώνει το BitNet τα βάρη παρά το μη διαφοροποιήσιμο βήμα κβαντοποίησης;
   • Παγώνει όλα τα βάρη
   • Προπονείται χωρίς κλίσεις
   • Χρησιμοποιεί μόνο ενισχυτική μάθηση
   • Χρησιμοποιεί ευθύγραμμο εκτιμητή με βάρη σκιών μεγαλύτερης ακρίβειας
5. Τι πρόσθετο πλεονέκτημα παρέχει το να επιτρέπεται η τιμή 0 (τριμερής, όχι αμιγώς δυαδική);
   • Ενσωματωμένη αραιότητα, αφού τα μηδενικά βάρη μπορούν να παραβλεφθούν
   • Μεγαλύτερη ακρίβεια από το floating point
   • Ταχύτερη σύνδεση στο διαδίκτυο
   • Μεγαλύτερο μέγεθος λεξιλογίου
6. Ποια είναι η κύρια πρόκληση υλικού για την επίτευξη πλήρους κερδών απόδοσης του BitNet;
   • Δεν έχουν απομείνει GPU στον κόσμο
   • Οι περισσότερες τρέχουσες μάρκες είναι βελτιστοποιημένες για μαθηματικά κινητής υποδιαστολής και όχι για τριμερείς λειτουργίες μόνο για προσθήκη
   • Τα τριμερή μοντέλα χρειάζονται κβαντικούς υπολογιστές
   • Τα μοντέλα είναι πολύ μικρά για να έχουν σημασία
7. If a BitNet weight is zero, what does it contribute to a dot product?
   • It multiplies the activation by negative one
   • It adds a full-precision matrix multiply
   • It contributes zero and can potentially be skipped by suitable hardware
   • It changes the number of model layers
8. Why are higher-precision shadow weights retained during BitNet training?
   • To perform inference with full-precision weights only
   • To store the tokenizer vocabulary
   • To replace the straight-through estimator with exact gradients
   • To maintain trainable values for gradient updates despite low-bit forward quantization