1비트 및 3진 BitNet 모델 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. BitNet b1.58이 무게당 약 1.58비트를 사용하는 것으로 설명되는 이유는 무엇입니까?
   • 각 가중치에는 세 가지 가능한 값(-1, 0, +1)이 있고 log2(3)은 약 1.58이므로
   • 2비트로 반올림되기 때문에
   • 1.58GB의 메모리를 사용하기 때문에
   • 1.58은 1비트와 2비트의 평균이기 때문에
2. BitNet의 매트릭스 작업이 표준 모델보다 저렴한 이유는 무엇입니까?
   • 그들은 주의 메커니즘을 건너뜁니다.
   • -1, 0, +1의 가중치는 곱셈을 덧셈과 뺄셈으로 바꿉니다.
   • 그들은 더 작은 어휘를 사용합니다
   • TPU에서만 실행됩니다.
3. BitNet과 일반적인 훈련 후 양자화의 주요 차이점은 BitNet이 다음과 같다는 것입니다.
   • 훈련이 완료된 후에만 양자화합니다.
   • 전혀 훈련할 수 없음
   • 낮은 비트 가중치로 처음부터 훈련됨
   • 내부적으로 32비트 가중치를 사용합니다.
4. 훈련 중에 BitNet은 미분 불가능한 양자화 단계에도 불구하고 어떻게 가중치를 업데이트합니까?
   • 모든 무게를 얼린다
   • 경사도 없이 훈련됩니다.
   • 강화학습만 사용함
   • 정확도가 더 높은 그림자 가중치를 갖춘 직선 추정기를 사용합니다.
5. 값 0(순수 바이너리가 아닌 삼항)을 허용하면 어떤 추가적인 이점이 제공됩니까?
   • 내장된 희소성(0이 된 가중치를 건너뛸 수 있음)
   • 부동 소수점보다 정밀도가 높음
   • 더 빠른 인터넷 연결
   • 더 큰 어휘 크기
6. BitNet의 전체 효율성 향상을 실현하기 위한 주요 하드웨어 과제는 무엇입니까?
   • 세상에 GPU는 하나도 남지 않았다
   • 대부분의 최신 칩은 덧셈 전용 삼항 연산이 아닌 부동 소수점 연산에 최적화되어 있습니다.
   • 삼항 모델에는 양자 컴퓨터가 필요합니다
   • 모델이 너무 작아서 중요하지 않음
7. If a BitNet weight is zero, what does it contribute to a dot product?
   • It multiplies the activation by negative one
   • It adds a full-precision matrix multiply
   • It contributes zero and can potentially be skipped by suitable hardware
   • It changes the number of model layers
8. Why are higher-precision shadow weights retained during BitNet training?
   • To perform inference with full-precision weights only
   • To store the tokenizer vocabulary
   • To replace the straight-through estimator with exact gradients
   • To maintain trainable values for gradient updates despite low-bit forward quantization