แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
แบบทดสอบการเพิ่มประสิทธิภาพอันดับสองและวิธีนิวตัน
ทดสอบว่าความโค้งเปลี่ยนแปลงขั้นตอนการเพิ่มประสิทธิภาพอย่างไร วิธีเสมือนนิวตันจัดเก็บอะไร และพฤติกรรมของนิวตันที่แน่นอนขึ้นอยู่กับวัตถุประสงค์กำลังสองเมื่อใด
คำถาม 1 ของ 8
วิธีการของนิวตันใช้ข้อมูลใดบ้างที่การไล่ระดับแบบไล่ระดับธรรมดาไม่มี
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- วิธีการของนิวตันใช้ข้อมูลใดบ้างที่การไล่ระดับแบบไล่ระดับธรรมดาไม่มี
- ความโค้งผ่านอนุพันธ์อันดับสองในเมทริกซ์ Hessian
- ตำแหน่งที่แน่นอนของค่าต่ำสุดทั่วโลก
- ตารางอัตราการเรียนรู้
- จำนวนตัวอย่างการฝึกอบรม
- สำหรับวัตถุประสงค์กำลังสองสมบูรณ์ วิธีการของนิวตันต้องมีกี่ขั้นตอนจึงจะถึงจุดต่ำสุดได้
- สิบขั้นตอนพอดี
- ขั้นตอนเดียว
- จำนวนเดียวกับการไล่ระดับโคตร
- มันไม่เคยมาบรรจบกัน
- เหตุใดวิธีการของนิวตันแบบเต็มจึงใช้ไม่ได้กับโครงข่ายประสาทเทียมพันล้านพารามิเตอร์
- ไม่สามารถคำนวณการไล่ระดับสีได้
- อนุพันธ์อันดับสองจะเป็นศูนย์เสมอในโครงข่ายประสาทเทียม
- Hessian เป็นแบบ N-by-N โดยมีราคาประมาณหน่วยความจำ N-squared และการคำนวณแบบ N-cubed เพื่อกลับด้าน
- มันใช้งานได้กับภาพเท่านั้น
- วิธีกึ่งนิวตันเช่น BFGS ทำอะไรเพื่อหลีกเลี่ยงต้นทุนของ Hessian
- พวกเขาไม่สนใจการไล่ระดับสีเลย
- พวกเขาสุ่มเดาความโค้ง
- พวกเขาแปลงปัญหาให้เป็นเส้นตรง
- พวกเขาสร้างการประมาณค่า Hessian แบบผกผันจากผลต่างเกรเดียนต์ที่ต่อเนื่องกัน
- L-BFGS ลดหน่วยความจำอย่างไรเมื่อเทียบกับ BFGS
- โดยจะจัดเก็บเฉพาะเวกเตอร์การไล่ระดับสีและสเต็ปสองสามอันสุดท้าย แทนที่จะเป็นเมทริกซ์แบบเต็ม
- ใช้ทุ่นที่มีความแม่นยำเพียงครั้งเดียวเท่านั้น
- โดยจะละทิ้งการไล่ระดับสีหลังจากแต่ละขั้นตอน
- มันฝึกด้วยพารามิเตอร์ที่น้อยลง
- วิธีการสมัยใหม่ใดที่ใกล้เคียงกับความโค้งเพื่อเร่งการฝึกอบรมโครงข่ายประสาทเทียมขนาดใหญ่
- การเข้ารหัสที่ร้อนแรงเพียงครั้งเดียว
- วิธีการที่ใช้ปัจจัย Kronecker เช่น K-FAC และแชมพู
- โคตรลาดสุ่มธรรมดาโดยไม่มีการแก้ไข
- การออกกลางคัน
- On an exact quadratic objective with an invertible Hessian, what assumption supports the one-step Newton result?
- The learning rate is reduced to zero before the update
- The Hessian is ignored and only a fixed scalar step is used
- The full Newton update uses the exact gradient and Hessian of that quadratic
- The objective is first converted to a linear function
- A non-quadratic objective is optimized with Newton’s method. What role does its quadratic model play?
- It guarantees the global minimum in one step
- It replaces the need to evaluate a gradient
- It makes every Hessian positive definite
- It approximates local curvature, so later iterations may be needed as the model changes