Cuestionario vinculado a una guía · duro Nivel
Cuestionario sobre modelos BitNet de 1 bit y ternario
Comprueba los pesos ternarios, el cálculo de 1,58 bits, las operaciones matriciales de bits bajos, el entrenamiento directo y las compensaciones de hardware.
Pregunta 1 de 8
¿Por qué se describe que BitNet b1.58 utiliza aproximadamente 1,58 bits por peso?
Vista previa de cada pregunta8 preguntas
Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.
- ¿Por qué se describe que BitNet b1.58 utiliza aproximadamente 1,58 bits por peso?
- Porque cada peso tiene tres valores posibles (-1, 0, +1) y log2(3) es aproximadamente 1,58
- Porque se redondea a 2 bits
- Porque utiliza 1,58 GB de memoria.
- Porque 1,58 es el promedio de 1 y 2 bits
- ¿Qué hace que las operaciones matriciales de BitNet sean más baratas que en los modelos estándar?
- Se saltan el mecanismo de atención
- Los pesos de -1, 0, +1 convierten las multiplicaciones en sumas y restas
- Usan un vocabulario más reducido.
- Se ejecutan sólo en TPU
- Una diferencia clave entre BitNet y la cuantificación post-entrenamiento ordinaria es que BitNet:
- Sólo se cuantifica una vez finalizado el entrenamiento.
- No se puede entrenar en absoluto.
- Se entrena desde cero con pesas bajas.
- Utiliza pesos de 32 bits internamente
- Durante el entrenamiento, ¿cómo actualiza BitNet los pesos a pesar del paso de cuantificación no diferenciable?
- Congela todos los pesos.
- Se entrena sin gradientes.
- Utiliza solo aprendizaje por refuerzo.
- Utiliza un estimador directo con ponderaciones de sombra de mayor precisión.
- ¿Qué beneficio adicional proporciona permitir el valor 0 (ternario, no binario puro)?
- Escasez incorporada, ya que se pueden omitir los pesos puestos a cero
- Mayor precisión que el punto flotante
- Conectividad a Internet más rápida
- Mayor tamaño de vocabulario
- ¿Cuál es el principal desafío de hardware para lograr las ganancias totales de eficiencia de BitNet?
- No quedan GPU en el mundo
- La mayoría de los chips actuales están optimizados para matemáticas de punto flotante, no para operaciones ternarias de solo suma.
- Los modelos ternarios necesitan computadoras cuánticas
- Los modelos son demasiado pequeños para importar.
- If a BitNet weight is zero, what does it contribute to a dot product?
- It multiplies the activation by negative one
- It adds a full-precision matrix multiply
- It contributes zero and can potentially be skipped by suitable hardware
- It changes the number of model layers
- Why are higher-precision shadow weights retained during BitNet training?
- To perform inference with full-precision weights only
- To store the tokenizer vocabulary
- To replace the straight-through estimator with exact gradients
- To maintain trainable values for gradient updates despite low-bit forward quantization