Quiz collegato alla guida · Difficile Livello

Quiz sui modelli BitNet a 1 bit e ternario

Controlla i pesi ternari, il calcolo a 1,58 bit, le operazioni con matrici a bit basso, l'addestramento diretto e i compromessi hardware.

Percorsi guida correlatiModelli Bitnet a 1 bit e ternari
Domanda 1 di 8

Perché BitNet b1.58 viene descritto come un utilizzo di circa 1,58 bit per peso?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Perché BitNet b1.58 viene descritto come un utilizzo di circa 1,58 bit per peso?
    • Poiché ogni peso ha tre valori possibili (-1, 0, +1) e log2(3) è circa 1,58
    • Perché arrotonda a 2 bit
    • Perché utilizza 1,58 GB di memoria
    • Perché 1,58 è la media di 1 e 2 bit
  2. Cosa rende le operazioni a matrice di BitNet più economiche rispetto ai modelli standard?
    • Saltano il meccanismo dell'attenzione
    • I pesi di -1, 0, +1 trasformano le moltiplicazioni in addizioni e sottrazioni
    • Usano un vocabolario più piccolo
    • Funzionano solo su TPU
  3. Una differenza fondamentale tra BitNet e la normale quantizzazione post-addestramento è che BitNet:
    • Quantizza solo dopo che l'addestramento è stato completato
    • Non può essere addestrato affatto
    • Viene allenato da zero con pesi bassi
    • Utilizza internamente pesi a 32 bit
  4. Durante l'addestramento, in che modo BitNet aggiorna i pesi nonostante la fase di quantizzazione non differenziabile?
    • Congela tutti i pesi
    • Si allena senza pendenze
    • Utilizza solo l'apprendimento per rinforzo
    • Utilizza uno stimatore diretto con pesi ombra a precisione più elevata
  5. Quale ulteriore vantaggio offre l'autorizzazione del valore 0 (ternario, non binario puro)?
    • Sparsità incorporata, poiché i pesi azzerati possono essere saltati
    • Maggiore precisione rispetto alla virgola mobile
    • Connettività Internet più veloce
    • Dimensione del vocabolario più ampia
  6. Qual è la principale sfida hardware per realizzare la piena efficienza di BitNet?
    • Non sono rimaste GPU al mondo
    • La maggior parte dei chip attuali sono ottimizzati per la matematica in virgola mobile, non per operazioni ternarie di sole addizioni
    • I modelli ternari necessitano di computer quantistici
    • I modelli sono troppo piccoli per avere importanza
  7. If a BitNet weight is zero, what does it contribute to a dot product?
    • It multiplies the activation by negative one
    • It adds a full-precision matrix multiply
    • It contributes zero and can potentially be skipped by suitable hardware
    • It changes the number of model layers
  8. Why are higher-precision shadow weights retained during BitNet training?
    • To perform inference with full-precision weights only
    • To store the tokenizer vocabulary
    • To replace the straight-through estimator with exact gradients
    • To maintain trainable values for gradient updates despite low-bit forward quantization