แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบการทำให้เลเยอร์เป็นมาตรฐาน

ตรวจสอบสถิติของ LayerNorm และพารามิเตอร์ affine ลักษณะการทำงานของขนาดแบตช์ epsilon, RMSNorm และตำแหน่งก่อนบรรทัดฐาน ในเครือข่ายระดับลึก

เส้นทางแนะนำที่เกี่ยวข้องการทำให้เป็นมาตรฐานของเลเยอร์
คำถาม 1 ของ 8

การทำให้เลเยอร์เป็นมาตรฐานนั้นคำนวณค่าเฉลี่ยและความแปรปรวนของเลเยอร์ในข้อใด

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. การทำให้เลเยอร์เป็นมาตรฐานนั้นคำนวณค่าเฉลี่ยและความแปรปรวนของเลเยอร์ในข้อใด
    • ข้ามคุณสมบัติของตัวอย่างเดียว
    • จากตัวอย่างทั้งหมดในมินิแบทช์
    • ข้ามน้ำหนักทั้งหมดในเครือข่าย
    • ข้ามยุคการฝึกอบรมหลายยุคสมัย
  2. เหตุใดการทำให้เลเยอร์มาตรฐานจึงเป็นที่นิยมมากกว่าการทำให้เป็นมาตรฐานแบบแบตช์ในหม้อแปลง
    • ต้องใช้ขนาดแบทช์ที่ใหญ่มาก
    • ไม่ขึ้นกับขนาดแบตช์และจัดการลำดับความยาวผันแปรได้
    • ช่วยลดความจำเป็นในการใช้พารามิเตอร์ที่สามารถเรียนรู้ได้
    • ใช้งานได้เฉพาะในระหว่างการอนุมานเท่านั้น
  3. พารามิเตอร์แกมมาและเบต้าที่เรียนรู้ได้ปล่อยให้ LayerNorm ทำอะไร
    • เลือกอัตราการเรียนรู้
    • กำหนดจำนวนชั้น
    • ปรับสเกลและเปลี่ยนเอาท์พุตที่ทำให้เป็นมาตรฐานเพื่อให้เครือข่ายสามารถกู้คืนการแสดงที่เป็นประโยชน์ได้
    • ขจัดความจำเป็นในการเปิดใช้งานฟังก์ชัน
  4. RMSNorm แตกต่างจาก LayerNorm มาตรฐานอย่างไร
    • จะทำให้เป็นมาตรฐานทั่วทั้งชุดแทน
    • ไม่ใช้พารามิเตอร์และไม่มีการหาร
    • มันใช้งานได้กับภาพเท่านั้น
    • มันข้ามการลบค่าเฉลี่ยและหารด้วยราก-ค่าเฉลี่ย-กำลังสองเท่านั้น
  5. การทำให้เลเยอร์นอร์มัลไลซ์มีปัญหาอะไรเป็นหลักช่วยแก้ปัญหาในเครือข่ายระดับลึก
    • การเปิดใช้งานเลื่อนไปในระดับที่แตกต่างกันมาก ซึ่งทำให้การฝึกไม่เสถียร
    • เนื้อที่ดิสก์หมด
    • การเลือกชุดข้อมูลที่เหมาะสม
    • การเข้ารหัสน้ำหนักแบบจำลอง
  6. เหตุใดตำแหน่ง 'พรีนอร์ม' จึงมักใช้ในหม้อแปลงที่ลึกมาก
    • มันทำให้โมเดลมีขนาดเล็กลง
    • การทำให้เป็นมาตรฐานก่อนแต่ละชั้นย่อยจะทำให้การฝึกสแต็คลึกง่ายขึ้นและมีเสถียรภาพมากขึ้น
    • มันลบกลไกความสนใจ
    • มันเพิ่มอัตราการเรียนรู้เป็นสองเท่าโดยอัตโนมัติ
  7. Why is a small epsilon added to LayerNorm’s variance before taking its square root?
    • To make the batch size larger
    • To replace the learnable scale
    • To avoid division by zero and improve numerical stability
    • To compute the sequence length
  8. If gamma is all ones and beta is all zeros, what does LayerNorm’s affine stage do?
    • It restores the original unnormalized inputs exactly
    • It applies a softmax over features
    • It changes the statistics to be batch-dependent
    • It leaves the normalized values unchanged after the mean-and-variance scaling