Bài kiểm tra có liên kết hướng dẫn · Cứng Cấp độ

Bài kiểm tra về mô hình BitNet 1-bit và ternary

Kiểm tra trọng số bậc ba, tính toán 1,58 bit, hoạt động ma trận bit thấp, đào tạo xuyên suốt và cân bằng phần cứng.

Đường dẫn hướng dẫn liên quanMô hình Bitnet 1 bit và 3 bit
Câu hỏi 1 của 8

Tại sao BitNet b1.58 được mô tả là sử dụng khoảng 1,58 bit cho mỗi trọng lượng?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Tại sao BitNet b1.58 được mô tả là sử dụng khoảng 1,58 bit cho mỗi trọng lượng?
    • Bởi vì mỗi trọng số có ba giá trị có thể có (-1, 0, +1) và log2(3) là khoảng 1,58
    • Bởi vì nó làm tròn thành 2 bit
    • Bởi vì nó sử dụng 1,58 GB bộ nhớ
    • Bởi vì 1,58 là trung bình của 1 và 2 bit
  2. Điều gì làm cho hoạt động ma trận của BitNet rẻ hơn so với các mô hình tiêu chuẩn?
    • Họ bỏ qua cơ chế chú ý
    • Các trọng số -1, 0, +1 biến phép nhân thành phép cộng và phép trừ
    • Họ sử dụng vốn từ vựng nhỏ hơn
    • Chúng chỉ chạy trên TPU
  3. Điểm khác biệt chính giữa BitNet và lượng tử hóa sau đào tạo thông thường là BitNet:
    • Chỉ lượng tử hóa sau khi đào tạo hoàn tất
    • Không thể đào tạo được chút nào
    • Được đào tạo từ đầu với trọng lượng bit thấp
    • Sử dụng trọng số 32-bit nội bộ
  4. Trong quá trình đào tạo, BitNet cập nhật trọng số như thế nào mặc dù bước lượng tử hóa không thể phân biệt được?
    • Nó đóng băng mọi trọng lượng
    • Nó đào tạo mà không có độ dốc
    • Nó chỉ sử dụng học tăng cường
    • Nó sử dụng công cụ ước tính xuyên suốt với trọng số bóng có độ chính xác cao hơn
  5. Việc cho phép giá trị 0 (bậc ba, không phải nhị phân thuần túy) mang lại lợi ích gì?
    • Độ thưa thớt tích hợp, vì trọng số bằng 0 có thể được bỏ qua
    • Độ chính xác cao hơn dấu phẩy động
    • Kết nối internet nhanh hơn
    • Kích thước từ vựng lớn hơn
  6. Thách thức phần cứng chính để đạt được hiệu quả tối đa của BitNet là gì?
    • Không còn GPU nào trên thế giới
    • Hầu hết các chip hiện tại đều được tối ưu hóa cho phép toán dấu phẩy động, không phải các phép toán ba phần bổ sung
    • Các mô hình bậc ba cần máy tính lượng tử
    • Các mô hình quá nhỏ để quan trọng
  7. If a BitNet weight is zero, what does it contribute to a dot product?
    • It multiplies the activation by negative one
    • It adds a full-precision matrix multiply
    • It contributes zero and can potentially be skipped by suitable hardware
    • It changes the number of model layers
  8. Why are higher-precision shadow weights retained during BitNet training?
    • To perform inference with full-precision weights only
    • To store the tokenizer vocabulary
    • To replace the straight-through estimator with exact gradients
    • To maintain trainable values for gradient updates despite low-bit forward quantization