แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบการวัดปริมาณหลังการฝึกอบรม GPTQ และ AWQ

ตรวจสอบความแตกต่างระหว่าง GPTQ และ AWQ ข้อมูลการสอบเทียบ การชดเชยความโค้ง ช่องที่รับรู้การเปิดใช้งาน และหน่วยความจำบิตต่ำ

เส้นทางแนะนำที่เกี่ยวข้องGptq และ Awq หลังการฝึกอบรมเชิงปริมาณ
คำถาม 1 ของ 8

'การวัดปริมาณหลังการฝึกอบรม' หมายความว่าอย่างไร

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. 'การวัดปริมาณหลังการฝึกอบรม' หมายความว่าอย่างไร
    • การบีบอัดตุ้มน้ำหนักของโมเดลที่ผ่านการฝึกอบรมแล้วเพื่อลดความแม่นยำโดยไม่ต้องฝึกใหม่ทั้งหมด
    • ฝึกโมเดลใหม่ทั้งหมดด้วยความแม่นยำต่ำ
    • การเพิ่มข้อมูลการฝึกอบรมเพิ่มเติมหลังจากการปรับใช้
    • การเพิ่มจำนวนพารามิเตอร์ของโมเดล
  2. GPTQ ใช้ข้อมูลใดเพื่อชดเชยข้อผิดพลาดในการปัดเศษเมื่อหาปริมาณ
    • รายการคำศัพท์ของแบบจำลอง
    • ข้อมูลลำดับที่สอง (Hessian/curvature) จากชุดข้อมูลการสอบเทียบ
    • ประวัติพร้อมท์ของผู้ใช้
    • เสียงสุ่ม
  3. ข้อมูลเชิงลึกที่สำคัญประการใดที่ขับเคลื่อน AWQ (ปริมาณน้ำหนักที่รับรู้ถึงการเปิดใช้งาน)
    • น้ำหนักทั้งหมดมีความสำคัญเท่าเทียมกัน
    • การเปิดใช้งานควรได้รับการวัดปริมาณแต่ปล่อยน้ำหนักไว้โดยไม่มีใครแตะต้อง
    • ช่องรับน้ำหนักเพียงเล็กน้อยมีความสำคัญอย่างยิ่งและควรได้รับการปกป้อง
    • การหาปริมาณควรเกิดขึ้นระหว่างการฝึกล่วงหน้าเท่านั้น
  4. การหาปริมาณหน่วยความจำแบบ 4 บิตประหยัดได้ประมาณเท่าใดเมื่อเทียบกับน้ำหนักแบบ 16 บิต
    • ไม่มีเงินออม
    • หน่วยความจำประมาณสองเท่า
    • ครึ่งหนึ่งของหน่วยความจำนั่นเอง
    • หน่วยความจำประมาณหนึ่งในสี่ (ลดลง 4 เท่า)
  5. เหตุใดทั้ง GPTQ และ AWQ จึงมักหาปริมาณน้ำหนักแต่ให้การเปิดใช้งานที่มีความแม่นยำสูงกว่า
    • น้ำหนักครอบงำหน่วยความจำ และการหาปริมาณการเปิดใช้งานเชิงรุกมีแนวโน้มที่จะส่งผลเสียต่อความแม่นยำมากกว่า
    • ไม่มีการเปิดใช้งานในหม้อแปลงไฟฟ้า
    • การเปิดใช้งานเป็นแบบ 1 บิตแล้ว
    • เป็นไปตามที่กฎหมายกำหนด
  6. เครื่องมือใดที่มักใช้เพื่อรันโมเดลเชิงปริมาณภายในฮาร์ดแวร์ของผู้บริโภค
    • Microsoft คำพูด
    • llama.cpp
    • โปรแกรมสเปรดชีต
    • เว็บเบราว์เซอร์เพียงอย่างเดียว
  7. How does GPTQ use a calibration dataset during layer-wise weight quantization?
    • It adds new training labels to the model
    • It selects a new tokenizer vocabulary
    • It estimates second-order information to compensate for rounding errors
    • It measures only GPU temperature
  8. How does AWQ identify which weight channels deserve protection?
    • It computes a full Hessian inverse
    • It adds random noise to all weights
    • It selects channels only by their index
    • It uses activation magnitudes to identify channels important to preserve