แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบการไล่ระดับสีที่หายไปและการระเบิด
ตรวจสอบผลิตภัณฑ์การไล่ระดับกฎลูกโซ่ ความอิ่มตัว ความยาวลำดับที่เกิดซ้ำ เส้นทางที่เหลือ และขีดจำกัดของการวิเคราะห์พฤติกรรมรัศมีสเปกตรัม
คำถาม 1 ของ 8
การดำเนินการทางคณิตศาสตร์ใดในการขยายพันธุ์แบบย้อนกลับเป็นสาเหตุหลักของการไล่ระดับสีที่หายไปและการระเบิด
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- การดำเนินการทางคณิตศาสตร์ใดในการขยายพันธุ์แบบย้อนกลับเป็นสาเหตุหลักของการไล่ระดับสีที่หายไปและการระเบิด
- การคูณปัจจัยต่อชั้นซ้ำๆ กันโดยใช้กฎลูกโซ่
- การเพิ่มการไล่ระดับสีในเลเยอร์เดียว
- หารการสูญเสียด้วยขนาดแบทช์
- หารากที่สองของตุ้มน้ำหนัก
- Why can sigmoid or tanh units contribute to vanishing gradients when they are saturated?
- Their derivatives are always larger than one
- Their derivatives become small in saturated regions, so repeated chain-rule products can shrink
- They remove the chain rule from backpropagation
- They force every weight to zero
- สถาปัตยกรรมใดได้รับผลกระทบอย่างรุนแรงที่สุดจากปัญหาการไล่ระดับสีในลำดับที่ยาว
- เพอร์เซพตรอนสองชั้น
- การถดถอยเชิงเส้นเดี่ยว
- โครงข่ายประสาทเทียมที่เกิดซ้ำไม่ได้ถูกเปิดออกหลายครั้ง
- ตารางการค้นหา
- การเห็นการสูญเสียการฝึกกะทันหันกลายเป็น NaN น่าจะบ่งบอกถึงปัญหาใด
- การไล่ระดับสีที่หายไป
- การบรรจบกันที่สมบูรณ์แบบ
- อัตราการเรียนรู้น้อยเกินไป
- การไล่ระดับสีแบบระเบิด
- การเชื่อมต่อที่เหลือ (ข้าม) ช่วยเรื่องการไล่ระดับสีที่หายไปได้อย่างไร
- พวกมันทำให้การไล่ระดับสีมีทางลัดตรงไปข้างหลัง โดยไม่ผ่านการคูณแบบย่อ
- พวกเขาลบความไม่เชิงเส้นทั้งหมดออก
- พวกเขาเพิ่มอัตราการเรียนรู้โดยอัตโนมัติ
- พวกเขาลบชั้นแรก ๆ
- In a simplified analysis of a recurrent linear transformation repeated over many steps, what matrix quantity is a rough signal of growth versus decay?
- The matrix trace relative to the batch size
- The spectral radius relative to one
- The number of hidden units alone
- The determinant relative to the learning rate
- A backpropagated gradient is multiplied by a factor below one at each of many layers. What trend should you expect?
- It must become exactly one
- It grows exponentially regardless of the factor
- The signal can shrink exponentially with depth
- It stops depending on earlier layers after one step
- Why can a recurrent network be especially vulnerable over a long sequence?
- The network has no hidden state
- The output layer is used only once
- The sequence is processed without a chain rule
- The recurrent transformation is applied repeatedly across timesteps, compounding its gradient effect