แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบการไล่ระดับสีที่หายไปและการระเบิด

ตรวจสอบผลิตภัณฑ์การไล่ระดับกฎลูกโซ่ ความอิ่มตัว ความยาวลำดับที่เกิดซ้ำ เส้นทางที่เหลือ และขีดจำกัดของการวิเคราะห์พฤติกรรมรัศมีสเปกตรัม

เส้นทางแนะนำที่เกี่ยวข้องการไล่ระดับสีที่หายไปและการระเบิด
คำถาม 1 ของ 8

การดำเนินการทางคณิตศาสตร์ใดในการขยายพันธุ์แบบย้อนกลับเป็นสาเหตุหลักของการไล่ระดับสีที่หายไปและการระเบิด

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. การดำเนินการทางคณิตศาสตร์ใดในการขยายพันธุ์แบบย้อนกลับเป็นสาเหตุหลักของการไล่ระดับสีที่หายไปและการระเบิด
    • การคูณปัจจัยต่อชั้นซ้ำๆ กันโดยใช้กฎลูกโซ่
    • การเพิ่มการไล่ระดับสีในเลเยอร์เดียว
    • หารการสูญเสียด้วยขนาดแบทช์
    • หารากที่สองของตุ้มน้ำหนัก
  2. Why can sigmoid or tanh units contribute to vanishing gradients when they are saturated?
    • Their derivatives are always larger than one
    • Their derivatives become small in saturated regions, so repeated chain-rule products can shrink
    • They remove the chain rule from backpropagation
    • They force every weight to zero
  3. สถาปัตยกรรมใดได้รับผลกระทบอย่างรุนแรงที่สุดจากปัญหาการไล่ระดับสีในลำดับที่ยาว
    • เพอร์เซพตรอนสองชั้น
    • การถดถอยเชิงเส้นเดี่ยว
    • โครงข่ายประสาทเทียมที่เกิดซ้ำไม่ได้ถูกเปิดออกหลายครั้ง
    • ตารางการค้นหา
  4. การเห็นการสูญเสียการฝึกกะทันหันกลายเป็น NaN น่าจะบ่งบอกถึงปัญหาใด
    • การไล่ระดับสีที่หายไป
    • การบรรจบกันที่สมบูรณ์แบบ
    • อัตราการเรียนรู้น้อยเกินไป
    • การไล่ระดับสีแบบระเบิด
  5. การเชื่อมต่อที่เหลือ (ข้าม) ช่วยเรื่องการไล่ระดับสีที่หายไปได้อย่างไร
    • พวกมันทำให้การไล่ระดับสีมีทางลัดตรงไปข้างหลัง โดยไม่ผ่านการคูณแบบย่อ
    • พวกเขาลบความไม่เชิงเส้นทั้งหมดออก
    • พวกเขาเพิ่มอัตราการเรียนรู้โดยอัตโนมัติ
    • พวกเขาลบชั้นแรก ๆ
  6. In a simplified analysis of a recurrent linear transformation repeated over many steps, what matrix quantity is a rough signal of growth versus decay?
    • The matrix trace relative to the batch size
    • The spectral radius relative to one
    • The number of hidden units alone
    • The determinant relative to the learning rate
  7. A backpropagated gradient is multiplied by a factor below one at each of many layers. What trend should you expect?
    • It must become exactly one
    • It grows exponentially regardless of the factor
    • The signal can shrink exponentially with depth
    • It stops depending on earlier layers after one step
  8. Why can a recurrent network be especially vulnerable over a long sequence?
    • The network has no hidden state
    • The output layer is used only once
    • The sequence is processed without a chain rule
    • The recurrent transformation is applied repeatedly across timesteps, compounding its gradient effect