แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบการเริ่มต้นน้ำหนัก
ตรวจสอบการทำลายความสมมาตร, การปรับสเกลแฟนอินและแฟนเอาต์, การเริ่มต้นแบบ Xavier และ He, การชดเชย ReLU และไบอัสศูนย์ ในโมเดลเชิงลึก
คำถาม 1 ของ 8
เหตุใดการเริ่มต้นน้ำหนักทั้งหมดให้เป็นศูนย์จึงเป็นข้อผิดพลาดร้ายแรง
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- เหตุใดการเริ่มต้นน้ำหนักทั้งหมดให้เป็นศูนย์จึงเป็นข้อผิดพลาดร้ายแรง
- เซลล์ประสาททั้งหมดได้รับการไล่ระดับสีที่เหมือนกันและไม่เคยแยกความแตกต่าง (สมมาตรไม่เสีย)
- มันทำให้การฝึกเร็วเกินไป
- มันทำให้การสูญเสียกลายเป็นลบ
- มันใช้หน่วยความจำมากเกินไป
- การเริ่มต้น He (Kaiming) ได้รับการออกแบบมาโดยเฉพาะสำหรับฟังก์ชันการเปิดใช้งานใด
- ซิกมอยด์
- รีลู
- ทานห์
- ซอฟท์แม็กซ์
- เป้าหมายหลักของแผนการเริ่มต้นน้ำหนักตามหลักการคืออะไร
- เพื่อให้น้ำหนักทั้งหมดเท่ากัน
- เพื่อกำหนดทุกน้ำหนักให้เป็นหนึ่ง
- เพื่อรักษาความแปรปรวนของการเปิดใช้งานและการไล่ระดับสีให้คงที่โดยประมาณทั่วทั้งเลเยอร์
- เพื่อขจัดความต้องการข้อมูล
- การเริ่มต้น Xavier (Glorot) เหมาะที่สุดสำหรับเครือข่ายที่ใช้การเปิดใช้งานใด
- ReLU และตัวแปรต่างๆ
- การเปิดใช้งานเชิงเส้นเท่านั้น
- ไม่มีการเปิดใช้งานเลย
- ทันห์และซิกมอยด์
- เหตุใดการเริ่มต้นเขาจึงใช้ความแปรปรวนของ 2 / fan_in มากกว่า 1 / fan_in
- เพื่อชดเชยการตั้งค่า ReLU ประมาณครึ่งหนึ่งของอินพุตให้เป็นศูนย์
- เพื่อทำให้น้ำหนักมีขนาดใหญ่ขึ้นโดยไม่มีเหตุผล
- เพื่อลดจำนวนพารามิเตอร์
- เพื่อให้ตรงกับขนาดชุด
- โดยทั่วไปแล้วอคติจะเริ่มต้นได้อย่างไรเมื่อตุ้มน้ำหนักถูกเตรียมใช้งานแบบสุ่ม
- ถึงค่าบวกที่มีขนาดใหญ่มาก
- เป็นศูนย์ เนื่องจากความสมมาตรถูกทำลายด้วยน้ำหนักสุ่มแล้ว
- ให้มีค่าเท่ากับอัตราการเรียนรู้
- เพื่อสุ่มค่าที่มากกว่าน้ำหนัก
- Under Xavier initialization, which quantities determine the weight variance in the guide’s formula?
- The number of training epochs and batch size
- The output class count alone
- Fan-in and fan-out
- The activation’s test accuracy
- For a ReLU layer with fan-in 64, what variance does the He formula 2/fan_in specify?
- 1/64
- 1/16
- 2/64 squared
- 1/32