แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบการหาปริมาณแบบจำลอง

ใช้พื้นที่จัดเก็บเชิงปริมาณ ปัจจัยการปรับขนาด และการแลกเปลี่ยนความแม่นยำ รวมถึงเหตุใดการลดน้ำหนักโดยรวมจึงไม่รับประกันความพอดีหรือความเร็วของโมเดล

เส้นทางแนะนำที่เกี่ยวข้องการหาปริมาณแบบจำลอง
คำถาม 1 ของ 8

Quantizing a model mainly reduces what?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. Quantizing a model mainly reduces what?
    • ความแม่นยำเชิงตัวเลขที่ใช้ในการจัดเก็บน้ำหนักและการเปิดใช้งาน
    • จำนวนเลเยอร์ในเครือข่าย
    • ชุดข้อมูลการฝึกอบรมที่แบบจำลองสร้างขึ้น
    • ภาษาที่โมเดลสามารถเข้าใจได้
  2. Ignoring scale metadata and other runtime tensors, what is the weight-payload ratio from sixteen bits to four bits per weight?
    • The payload is unchanged
    • It is one hundredth of the original payload
    • The four-bit payload is one quarter of the sixteen-bit payload
    • The payload becomes four times larger
  3. ข้อเสียเปรียบหลักของการหาปริมาณบิตต่ำเชิงรุกคืออะไร?
    • โมเดลลืมภาษาการฝึก
    • การสูญเสียความแม่นยำที่อาจเกิดขึ้นเนื่องจากค่าถูกบีบลงในที่เก็บข้อมูลน้อยลง
    • สามารถทำงานบนซูเปอร์คอมพิวเตอร์เท่านั้น
    • มันจะลบเลเยอร์อย่างถาวร
  4. การฝึกอบรมที่คำนึงถึงเชิงปริมาณแตกต่างจากการวัดปริมาณหลังการฝึกอบรมอย่างไร
    • มันไม่จำเป็นต้องมีข้อมูลเลย
    • มันใช้งานได้กับภาพเท่านั้น
    • มันเพิ่มจำนวนบิตเมื่อเวลาผ่านไป
    • โดยจำลองการปัดเศษระหว่างการฝึก เพื่อให้โมเดลเรียนรู้ที่จะทนต่อความแม่นยำต่ำ
  5. เทคนิคใดที่ใช้การวัดปริมาณ 4 บิตเพื่อปรับแต่งโมเดลขนาดใหญ่อย่างละเอียดในราคาประหยัดด้วย GPU ตัวเดียว
    • การออกกลางคัน
    • การทำให้เป็นมาตรฐานแบบแบตช์
    • คิวลอรา
    • โทเค็น
  6. เหตุใดการปรับขนาดต่อแชนเนลหรือต่อกลุ่มจึงช่วยโมเดลเชิงปริมาณ
    • โดยจะกำหนดสเกลแฟกเตอร์แยกกันให้กับส่วนของเมทริกซ์น้ำหนักเพื่อรักษาความแม่นยำ
    • ไม่จำเป็นต้องมีน้ำหนักใดๆ
    • มันทำให้โมเดลมีขนาดใหญ่ขึ้น
    • มันแปลงข้อความเป็นเสียง
  7. A four-bit model’s raw weights fit in available VRAM, but serving fails out of memory. What could explain this?
    • Every four-bit weight expands permanently to a gigabyte
    • Quantization guarantees no runtime allocations
    • Only the model’s filename consumes the remaining memory
    • Caches, scales, unquantized tensors, or workspace need additional memory
  8. A team quantizes to INT8 but sees no inference speedup. What should it check?
    • Whether the training data are alphabetized
    • Whether the workload uses efficient supported kernels on its hardware
    • Whether lower bit width always guarantees faster execution
    • Whether the model must have changed languages