Quiz collegato alla guida · Difficile Livello
Quiz sui modelli BitNet a 1 bit e ternario
Controlla i pesi ternari, il calcolo a 1,58 bit, le operazioni con matrici a bit basso, l'addestramento diretto e i compromessi hardware.
Domanda 1 di 8
Perché BitNet b1.58 viene descritto come un utilizzo di circa 1,58 bit per peso?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Perché BitNet b1.58 viene descritto come un utilizzo di circa 1,58 bit per peso?
- Poiché ogni peso ha tre valori possibili (-1, 0, +1) e log2(3) è circa 1,58
- Perché arrotonda a 2 bit
- Perché utilizza 1,58 GB di memoria
- Perché 1,58 è la media di 1 e 2 bit
- Cosa rende le operazioni a matrice di BitNet più economiche rispetto ai modelli standard?
- Saltano il meccanismo dell'attenzione
- I pesi di -1, 0, +1 trasformano le moltiplicazioni in addizioni e sottrazioni
- Usano un vocabolario più piccolo
- Funzionano solo su TPU
- Una differenza fondamentale tra BitNet e la normale quantizzazione post-addestramento è che BitNet:
- Quantizza solo dopo che l'addestramento è stato completato
- Non può essere addestrato affatto
- Viene allenato da zero con pesi bassi
- Utilizza internamente pesi a 32 bit
- Durante l'addestramento, in che modo BitNet aggiorna i pesi nonostante la fase di quantizzazione non differenziabile?
- Congela tutti i pesi
- Si allena senza pendenze
- Utilizza solo l'apprendimento per rinforzo
- Utilizza uno stimatore diretto con pesi ombra a precisione più elevata
- Quale ulteriore vantaggio offre l'autorizzazione del valore 0 (ternario, non binario puro)?
- Sparsità incorporata, poiché i pesi azzerati possono essere saltati
- Maggiore precisione rispetto alla virgola mobile
- Connettività Internet più veloce
- Dimensione del vocabolario più ampia
- Qual è la principale sfida hardware per realizzare la piena efficienza di BitNet?
- Non sono rimaste GPU al mondo
- La maggior parte dei chip attuali sono ottimizzati per la matematica in virgola mobile, non per operazioni ternarie di sole addizioni
- I modelli ternari necessitano di computer quantistici
- I modelli sono troppo piccoli per avere importanza
- If a BitNet weight is zero, what does it contribute to a dot product?
- It multiplies the activation by negative one
- It adds a full-precision matrix multiply
- It contributes zero and can potentially be skipped by suitable hardware
- It changes the number of model layers
- Why are higher-precision shadow weights retained during BitNet training?
- To perform inference with full-precision weights only
- To store the tokenizer vocabulary
- To replace the straight-through estimator with exact gradients
- To maintain trainable values for gradient updates despite low-bit forward quantization