Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ

Bài kiểm tra lượng tử hóa mô hình

Áp dụng lưu trữ lượng tử hóa, hệ số tỷ lệ và sự cân bằng độ chính xác, bao gồm cả lý do tại sao việc giảm trọng lượng thô không đảm bảo tốc độ hoặc sự phù hợp của mô hình hoàn chỉnh.

Đường dẫn hướng dẫn liên quanLượng tử hóa mô hình
Câu hỏi 1 của 8

Quantizing a model mainly reduces what?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Quantizing a model mainly reduces what?
    • Độ chính xác bằng số được sử dụng để lưu trữ trọng lượng và kích hoạt
    • Số lớp trong mạng
    • Tập dữ liệu huấn luyện mà mô hình được xây dựng trên đó
    • Ngôn ngữ mà mô hình có thể hiểu được
  2. Ignoring scale metadata and other runtime tensors, what is the weight-payload ratio from sixteen bits to four bits per weight?
    • The payload is unchanged
    • It is one hundredth of the original payload
    • The four-bit payload is one quarter of the sixteen-bit payload
    • The payload becomes four times larger
  3. Nhược điểm chính của lượng tử hóa bit thấp tích cực là gì?
    • Model quên ngôn ngữ huấn luyện
    • Có khả năng mất độ chính xác khi các giá trị được nén vào ít nhóm hơn
    • Nó chỉ có thể chạy trên siêu máy tính
    • Nó xóa vĩnh viễn các lớp
  4. Đào tạo nhận biết lượng tử hóa khác với lượng tử hóa sau đào tạo như thế nào?
    • Nó không yêu cầu dữ liệu nào cả
    • Nó chỉ hoạt động trên hình ảnh
    • Nó tăng số lượng bit theo thời gian
    • Nó mô phỏng làm tròn trong quá trình đào tạo để mô hình học cách chịu đựng độ chính xác thấp
  5. Kỹ thuật nào sử dụng lượng tử hóa 4 bit để tinh chỉnh các mô hình lớn với giá cả phải chăng trên một GPU?
    • Bỏ học
    • Chuẩn hóa hàng loạt
    • QLoRA
    • Mã thông báo
  6. Tại sao việc chia tỷ lệ theo kênh hoặc theo nhóm lại giúp ích cho các mô hình lượng tử hóa?
    • Nó gán các hệ số tỷ lệ riêng biệt cho các lát của ma trận trọng số để duy trì độ chính xác
    • Nó loại bỏ sự cần thiết của bất kỳ trọng lượng nào
    • Nó làm cho mô hình lớn hơn
    • Nó chuyển đổi văn bản thành âm thanh
  7. A four-bit model’s raw weights fit in available VRAM, but serving fails out of memory. What could explain this?
    • Every four-bit weight expands permanently to a gigabyte
    • Quantization guarantees no runtime allocations
    • Only the model’s filename consumes the remaining memory
    • Caches, scales, unquantized tensors, or workspace need additional memory
  8. A team quantizes to INT8 but sees no inference speedup. What should it check?
    • Whether the training data are alphabetized
    • Whether the workload uses efficient supported kernels on its hardware
    • Whether lower bit width always guarantees faster execution
    • Whether the model must have changed languages