แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบการเริ่มต้นน้ำหนัก

ตรวจสอบการทำลายความสมมาตร, การปรับสเกลแฟนอินและแฟนเอาต์, การเริ่มต้นแบบ Xavier และ He, การชดเชย ReLU และไบอัสศูนย์ ในโมเดลเชิงลึก

เส้นทางแนะนำที่เกี่ยวข้องการเริ่มต้นน้ำหนัก
คำถาม 1 ของ 8

เหตุใดการเริ่มต้นน้ำหนักทั้งหมดให้เป็นศูนย์จึงเป็นข้อผิดพลาดร้ายแรง

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. เหตุใดการเริ่มต้นน้ำหนักทั้งหมดให้เป็นศูนย์จึงเป็นข้อผิดพลาดร้ายแรง
    • เซลล์ประสาททั้งหมดได้รับการไล่ระดับสีที่เหมือนกันและไม่เคยแยกความแตกต่าง (สมมาตรไม่เสีย)
    • มันทำให้การฝึกเร็วเกินไป
    • มันทำให้การสูญเสียกลายเป็นลบ
    • มันใช้หน่วยความจำมากเกินไป
  2. การเริ่มต้น He (Kaiming) ได้รับการออกแบบมาโดยเฉพาะสำหรับฟังก์ชันการเปิดใช้งานใด
    • ซิกมอยด์
    • รีลู
    • ทานห์
    • ซอฟท์แม็กซ์
  3. เป้าหมายหลักของแผนการเริ่มต้นน้ำหนักตามหลักการคืออะไร
    • เพื่อให้น้ำหนักทั้งหมดเท่ากัน
    • เพื่อกำหนดทุกน้ำหนักให้เป็นหนึ่ง
    • เพื่อรักษาความแปรปรวนของการเปิดใช้งานและการไล่ระดับสีให้คงที่โดยประมาณทั่วทั้งเลเยอร์
    • เพื่อขจัดความต้องการข้อมูล
  4. การเริ่มต้น Xavier (Glorot) เหมาะที่สุดสำหรับเครือข่ายที่ใช้การเปิดใช้งานใด
    • ReLU และตัวแปรต่างๆ
    • การเปิดใช้งานเชิงเส้นเท่านั้น
    • ไม่มีการเปิดใช้งานเลย
    • ทันห์และซิกมอยด์
  5. เหตุใดการเริ่มต้นเขาจึงใช้ความแปรปรวนของ 2 / fan_in มากกว่า 1 / fan_in
    • เพื่อชดเชยการตั้งค่า ReLU ประมาณครึ่งหนึ่งของอินพุตให้เป็นศูนย์
    • เพื่อทำให้น้ำหนักมีขนาดใหญ่ขึ้นโดยไม่มีเหตุผล
    • เพื่อลดจำนวนพารามิเตอร์
    • เพื่อให้ตรงกับขนาดชุด
  6. โดยทั่วไปแล้วอคติจะเริ่มต้นได้อย่างไรเมื่อตุ้มน้ำหนักถูกเตรียมใช้งานแบบสุ่ม
    • ถึงค่าบวกที่มีขนาดใหญ่มาก
    • เป็นศูนย์ เนื่องจากความสมมาตรถูกทำลายด้วยน้ำหนักสุ่มแล้ว
    • ให้มีค่าเท่ากับอัตราการเรียนรู้
    • เพื่อสุ่มค่าที่มากกว่าน้ำหนัก
  7. Under Xavier initialization, which quantities determine the weight variance in the guide’s formula?
    • The number of training epochs and batch size
    • The output class count alone
    • Fan-in and fan-out
    • The activation’s test accuracy
  8. For a ReLU layer with fan-in 64, what variance does the He formula 2/fan_in specify?
    • 1/64
    • 1/16
    • 2/64 squared
    • 1/32