Bài kiểm tra lượng tử hóa SmoothQuant và kích hoạt

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. SmoothQuant giải quyết cụ thể vấn đề gì trong suy luận có độ chính xác thấp?
   • Giá trị cực kỳ ngoại lệ trong các kênh kích hoạt
   • Trọng lượng quá nhỏ để thể hiện
   • Độ dốc biến mất trong quá trình truyền ngược
   • Giới hạn kích thước từ vựng mã thông báo
2. SmoothQuant giúp định lượng kích hoạt dễ dàng hơn như thế nào?
   • Nó cắt tất cả các kích hoạt trên một ngưỡng cố định
   • Nó di chuyển độ khó bằng cách giảm quy mô kích hoạt và tăng trọng lượng theo cùng một hệ số
   • Nó đào tạo lại mô hình từ đầu đến cuối trong 8 bit
   • Nó chỉ chuyển đổi kích hoạt thành dấu phẩy động
3. Ký hiệu W8A8 có nghĩa là gì?
   • 8 lớp trọng lượng và 8 đầu chú ý
   • Giảm dần trọng lượng của 8 và alpha của 8
   • Trọng lượng 8 bit và kích hoạt 8 bit
   • 8 công nhân và 8 máy gia tốc
4. Tại sao việc mở rộng quy mô của SmoothQuant về cơ bản không tăng thêm chi phí thời gian chạy?
   • Nó chạy trên một GPU chuyên dụng riêng biệt
   • Nó chỉ áp dụng trong quá trình đào tạo, không bao giờ suy luận
   • CPU hiện đại bỏ qua các yếu tố mở rộng
   • Các cân được hấp thụ ngoại tuyến vào các trọng lượng liền kề hoặc các hoạt động hợp nhất
5. Siêu tham số alpha đóng vai trò gì trong SmoothQuant?
   • Nó kiểm soát mức độ chuyển đổi gánh nặng ngoại lệ từ kích hoạt sang trọng số
   • Nó đặt tốc độ học tập để tinh chỉnh
   • Nó xác định số lượng bit lượng tử hóa
   • Nó chọn hướng chú ý nào cần cắt tỉa
6. What result did the SmoothQuant paper report for its evaluated W8A8 large-language-model deployments?
   • A guaranteed 10× speedup on every GPU
   • About 1.56× speedup and roughly 2× memory savings with near-full-precision accuracy
   • No runtime or memory benefit
   • A 50% accuracy drop in every tested model
7. Why does multiplying activation channels by 1/s and corresponding weights by s preserve a linear layer’s product?
   • The output is rounded to the nearest class
   • The model replaces multiplication with addition
   • The reciprocal scale factors cancel in the activation-weight multiplication
   • The weights are set to zero after scaling
8. In SmoothQuant’s scale formula, what does increasing alpha generally do to outlier handling?
   • It removes the model’s weight matrices
   • It turns W8A8 into W16A16
   • It eliminates all quantization error
   • It shifts more scaling burden away from activations and onto weights