แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบการตัดแต่งกิ่งและการวางเลเยอร์แบบมีโครงสร้าง

ตรวจสอบว่าเหตุใดความเร็วในการตัดแต่งกิ่งที่มีโครงสร้างจึงอนุมานได้ วิธีประมาณความสำคัญของเลเยอร์ และการปรับแต่งอย่างละเอียดหรือการกลั่นเพื่อคืนคุณภาพ

คำถาม 1 ของ 8

เหตุใดการตัดแต่งกิ่งแบบไม่มีโครงสร้างจึงเร่งความเร็วได้จริง ในขณะที่การตัดแต่งกิ่งแบบไม่มีโครงสร้างมักไม่ได้เป็นเช่นนั้น?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. เหตุใดการตัดแต่งกิ่งแบบไม่มีโครงสร้างจึงเร่งความเร็วได้จริง ในขณะที่การตัดแต่งกิ่งแบบไม่มีโครงสร้างมักไม่ได้เป็นเช่นนั้น?
    • การตัดแต่งกิ่งแบบมีโครงสร้างจะขจัดบล็อกที่ต่อเนื่องกันซึ่งจะทำให้เทนเซอร์หดตัวลง
    • การตัดแต่งกิ่งแบบไม่มีโครงสร้างจะเพิ่มขนาดโมเดล
    • การตัดแต่งกิ่งแบบมีโครงสร้างเพิ่มชั้นมากขึ้น
    • การตัดแต่งกิ่งแบบไม่มีโครงสร้างใช้งานได้กับ CPU เท่านั้น
  2. 'เลเยอร์หล่น' ในบริบทของหม้อแปลงคืออะไร?
    • ลดอัตราการเรียนรู้ต่อชั้น
    • การลบบล็อกหม้อแปลงทั้งหมดเพื่อลดความลึกของโมเดล
    • เพิ่ม dropout ให้กับทุกเลเยอร์
    • จัดเรียงเลเยอร์ใหม่แบบสุ่ม
  3. สัญญาณใดที่โดยทั่วไปบ่งชี้ว่าชั้นหม้อแปลงสามารถตกได้อย่างปลอดภัย
    • เลเยอร์มีพารามิเตอร์มากที่สุด
    • เลเยอร์เป็นเลเยอร์แรกในเครือข่าย
    • สถานะที่ซ่อนอยู่ของอินพุตและเอาต์พุตของเลเยอร์นั้นคล้ายกันมาก
    • เลเยอร์ใช้หน่วยความจำมากที่สุด
  4. โดยทั่วไปขั้นตอนใดที่จะคืนความแม่นยำหลังจากการตัดแต่งกิ่งแบบมีโครงสร้าง?
    • เพิ่มขนาดชุดเท่านั้น
    • การหาปริมาณใหม่เป็น 16 บิต
    • เพิ่มความเอาใจใส่ให้มากขึ้น
    • การปรับแต่งหรือการกลั่นกรองความรู้สั้นๆ
  5. หัวความสนใจส่วนบุคคลมักถูกจัดอันดับสำหรับการตัดแต่งกิ่งอย่างไร?
    • โดยเพิ่มการสูญเสียเมื่อสวมหน้ากาก (ความไว)
    • ตามลำดับตัวอักษร
    • ตามตำแหน่งในคำศัพท์
    • ตามจำนวนโทเค็นที่พวกเขาได้เห็น
  6. อะไรคือการใช้งานจริงที่สำคัญของการตัดแต่งกิ่งแบบมีโครงสร้างร่วมกับการกลั่น?
    • สร้างข้อมูลการฝึกอบรมโดยอัตโนมัติ
    • สืบทอดตระกูลรุ่นที่เล็กกว่าและเร็วกว่าจากจุดตรวจขนาดใหญ่แห่งเดียว
    • การเข้ารหัสน้ำหนักโมเดล
    • การเพิ่มความยาวของหน้าต่างบริบท
  7. Why can a smaller student recover some function of a pruned model during distillation?
    • It restores the deleted weights in place
    • It changes the test labels
    • It is trained to match useful outputs or behavior of the larger teacher
    • It removes the need for validation
  8. If a transformer layer’s input and output have high cosine similarity, what does that suggest under the guide’s pruning heuristic?
    • The layer is guaranteed to be useless for every task
    • The model must add another layer
    • The output has no features
    • The layer changed the representation relatively little and may be a candidate for dropping