แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบการทำให้เลเยอร์เป็นมาตรฐาน
ตรวจสอบสถิติของ LayerNorm และพารามิเตอร์ affine ลักษณะการทำงานของขนาดแบตช์ epsilon, RMSNorm และตำแหน่งก่อนบรรทัดฐาน ในเครือข่ายระดับลึก
คำถาม 1 ของ 8
การทำให้เลเยอร์เป็นมาตรฐานนั้นคำนวณค่าเฉลี่ยและความแปรปรวนของเลเยอร์ในข้อใด
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- การทำให้เลเยอร์เป็นมาตรฐานนั้นคำนวณค่าเฉลี่ยและความแปรปรวนของเลเยอร์ในข้อใด
- ข้ามคุณสมบัติของตัวอย่างเดียว
- จากตัวอย่างทั้งหมดในมินิแบทช์
- ข้ามน้ำหนักทั้งหมดในเครือข่าย
- ข้ามยุคการฝึกอบรมหลายยุคสมัย
- เหตุใดการทำให้เลเยอร์มาตรฐานจึงเป็นที่นิยมมากกว่าการทำให้เป็นมาตรฐานแบบแบตช์ในหม้อแปลง
- ต้องใช้ขนาดแบทช์ที่ใหญ่มาก
- ไม่ขึ้นกับขนาดแบตช์และจัดการลำดับความยาวผันแปรได้
- ช่วยลดความจำเป็นในการใช้พารามิเตอร์ที่สามารถเรียนรู้ได้
- ใช้งานได้เฉพาะในระหว่างการอนุมานเท่านั้น
- พารามิเตอร์แกมมาและเบต้าที่เรียนรู้ได้ปล่อยให้ LayerNorm ทำอะไร
- เลือกอัตราการเรียนรู้
- กำหนดจำนวนชั้น
- ปรับสเกลและเปลี่ยนเอาท์พุตที่ทำให้เป็นมาตรฐานเพื่อให้เครือข่ายสามารถกู้คืนการแสดงที่เป็นประโยชน์ได้
- ขจัดความจำเป็นในการเปิดใช้งานฟังก์ชัน
- RMSNorm แตกต่างจาก LayerNorm มาตรฐานอย่างไร
- จะทำให้เป็นมาตรฐานทั่วทั้งชุดแทน
- ไม่ใช้พารามิเตอร์และไม่มีการหาร
- มันใช้งานได้กับภาพเท่านั้น
- มันข้ามการลบค่าเฉลี่ยและหารด้วยราก-ค่าเฉลี่ย-กำลังสองเท่านั้น
- การทำให้เลเยอร์นอร์มัลไลซ์มีปัญหาอะไรเป็นหลักช่วยแก้ปัญหาในเครือข่ายระดับลึก
- การเปิดใช้งานเลื่อนไปในระดับที่แตกต่างกันมาก ซึ่งทำให้การฝึกไม่เสถียร
- เนื้อที่ดิสก์หมด
- การเลือกชุดข้อมูลที่เหมาะสม
- การเข้ารหัสน้ำหนักแบบจำลอง
- เหตุใดตำแหน่ง 'พรีนอร์ม' จึงมักใช้ในหม้อแปลงที่ลึกมาก
- มันทำให้โมเดลมีขนาดเล็กลง
- การทำให้เป็นมาตรฐานก่อนแต่ละชั้นย่อยจะทำให้การฝึกสแต็คลึกง่ายขึ้นและมีเสถียรภาพมากขึ้น
- มันลบกลไกความสนใจ
- มันเพิ่มอัตราการเรียนรู้เป็นสองเท่าโดยอัตโนมัติ
- Why is a small epsilon added to LayerNorm’s variance before taking its square root?
- To make the batch size larger
- To replace the learnable scale
- To avoid division by zero and improve numerical stability
- To compute the sequence length
- If gamma is all ones and beta is all zeros, what does LayerNorm’s affine stage do?
- It restores the original unnormalized inputs exactly
- It applies a softmax over features
- It changes the statistics to be batch-dependent
- It leaves the normalized values unchanged after the mean-and-variance scaling