Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ

Bài kiểm tra lượng tử hóa sau đào tạo GPTQ và AWQ

Kiểm tra sự khác biệt giữa GPTQ và AWQ, dữ liệu hiệu chuẩn, bù độ cong, kênh nhận biết kích hoạt và bộ nhớ bit thấp.

Đường dẫn hướng dẫn liên quanLượng tử hóa bài đào tạo Gptq và Awq
Câu hỏi 1 của 8

'Lượng tử hóa sau đào tạo' nghĩa là gì?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. 'Lượng tử hóa sau đào tạo' nghĩa là gì?
    • Nén trọng lượng của mô hình đã được đào tạo xuống độ chính xác thấp hơn mà không cần đào tạo lại đầy đủ
    • Đào tạo lại mô hình hoàn toàn ở độ chính xác thấp
    • Thêm nhiều dữ liệu đào tạo sau khi triển khai
    • Tăng số lượng tham số của mô hình
  2. GPTQ sử dụng thông tin gì để bù cho lỗi làm tròn khi lượng tử hóa?
    • Danh sách từ vựng của mô hình
    • Thông tin bậc hai (Hessian/độ cong) từ tập dữ liệu hiệu chuẩn
    • Lịch sử lời nhắc của người dùng
    • Tiếng ồn ngẫu nhiên
  3. Thông tin chi tiết quan trọng nào thúc đẩy AWQ (Lượng tử hóa trọng lượng nhận biết kích hoạt)?
    • Mọi trọng lượng đều quan trọng như nhau
    • Kích hoạt nên được lượng tử hóa nhưng trọng lượng không được chạm tới
    • Một phần nhỏ các kênh trọng lượng đặc biệt quan trọng và cần được bảo vệ
    • Lượng tử hóa chỉ nên xảy ra trong quá trình đào tạo trước
  4. Lượng tử hóa 4 bit tiết kiệm được khoảng bao nhiêu bộ nhớ so với trọng lượng 16 bit?
    • Không tiết kiệm
    • Khoảng gấp đôi bộ nhớ
    • Chính xác là một nửa bộ nhớ
    • Khoảng một phần tư bộ nhớ (giảm 4 lần)
  5. Tại sao cả GPTQ và AWQ thường lượng tử hóa trọng số nhưng vẫn duy trì kích hoạt ở độ chính xác cao hơn?
    • Trọng lượng chiếm ưu thế trong bộ nhớ và lượng tử hóa kích hoạt mạnh mẽ có xu hướng làm giảm độ chính xác hơn
    • Kích hoạt không tồn tại trong máy biến áp
    • Kích hoạt đã là 1-bit
    • Đó là yêu cầu của pháp luật
  6. Công cụ nào thường được sử dụng để chạy các mô hình lượng tử hóa cục bộ trên phần cứng của người tiêu dùng?
    • Microsoft Từ
    • llama.cpp
    • Một chương trình bảng tính
    • Một trình duyệt web thôi
  7. How does GPTQ use a calibration dataset during layer-wise weight quantization?
    • It adds new training labels to the model
    • It selects a new tokenizer vocabulary
    • It estimates second-order information to compensate for rounding errors
    • It measures only GPU temperature
  8. How does AWQ identify which weight channels deserve protection?
    • It computes a full Hessian inverse
    • It adds random noise to all weights
    • It selects channels only by their index
    • It uses activation magnitudes to identify channels important to preserve