แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

แบบทดสอบการเพิ่มประสิทธิภาพอันดับสองและวิธีนิวตัน

ทดสอบว่าความโค้งเปลี่ยนแปลงขั้นตอนการเพิ่มประสิทธิภาพอย่างไร วิธีเสมือนนิวตันจัดเก็บอะไร และพฤติกรรมของนิวตันที่แน่นอนขึ้นอยู่กับวัตถุประสงค์กำลังสองเมื่อใด

คำถาม 1 ของ 8

วิธีการของนิวตันใช้ข้อมูลใดบ้างที่การไล่ระดับแบบไล่ระดับธรรมดาไม่มี

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. วิธีการของนิวตันใช้ข้อมูลใดบ้างที่การไล่ระดับแบบไล่ระดับธรรมดาไม่มี
    • ความโค้งผ่านอนุพันธ์อันดับสองในเมทริกซ์ Hessian
    • ตำแหน่งที่แน่นอนของค่าต่ำสุดทั่วโลก
    • ตารางอัตราการเรียนรู้
    • จำนวนตัวอย่างการฝึกอบรม
  2. สำหรับวัตถุประสงค์กำลังสองสมบูรณ์ วิธีการของนิวตันต้องมีกี่ขั้นตอนจึงจะถึงจุดต่ำสุดได้
    • สิบขั้นตอนพอดี
    • ขั้นตอนเดียว
    • จำนวนเดียวกับการไล่ระดับโคตร
    • มันไม่เคยมาบรรจบกัน
  3. เหตุใดวิธีการของนิวตันแบบเต็มจึงใช้ไม่ได้กับโครงข่ายประสาทเทียมพันล้านพารามิเตอร์
    • ไม่สามารถคำนวณการไล่ระดับสีได้
    • อนุพันธ์อันดับสองจะเป็นศูนย์เสมอในโครงข่ายประสาทเทียม
    • Hessian เป็นแบบ N-by-N โดยมีราคาประมาณหน่วยความจำ N-squared และการคำนวณแบบ N-cubed เพื่อกลับด้าน
    • มันใช้งานได้กับภาพเท่านั้น
  4. วิธีกึ่งนิวตันเช่น BFGS ทำอะไรเพื่อหลีกเลี่ยงต้นทุนของ Hessian
    • พวกเขาไม่สนใจการไล่ระดับสีเลย
    • พวกเขาสุ่มเดาความโค้ง
    • พวกเขาแปลงปัญหาให้เป็นเส้นตรง
    • พวกเขาสร้างการประมาณค่า Hessian แบบผกผันจากผลต่างเกรเดียนต์ที่ต่อเนื่องกัน
  5. L-BFGS ลดหน่วยความจำอย่างไรเมื่อเทียบกับ BFGS
    • โดยจะจัดเก็บเฉพาะเวกเตอร์การไล่ระดับสีและสเต็ปสองสามอันสุดท้าย แทนที่จะเป็นเมทริกซ์แบบเต็ม
    • ใช้ทุ่นที่มีความแม่นยำเพียงครั้งเดียวเท่านั้น
    • โดยจะละทิ้งการไล่ระดับสีหลังจากแต่ละขั้นตอน
    • มันฝึกด้วยพารามิเตอร์ที่น้อยลง
  6. วิธีการสมัยใหม่ใดที่ใกล้เคียงกับความโค้งเพื่อเร่งการฝึกอบรมโครงข่ายประสาทเทียมขนาดใหญ่
    • การเข้ารหัสที่ร้อนแรงเพียงครั้งเดียว
    • วิธีการที่ใช้ปัจจัย Kronecker เช่น K-FAC และแชมพู
    • โคตรลาดสุ่มธรรมดาโดยไม่มีการแก้ไข
    • การออกกลางคัน
  7. On an exact quadratic objective with an invertible Hessian, what assumption supports the one-step Newton result?
    • The learning rate is reduced to zero before the update
    • The Hessian is ignored and only a fixed scalar step is used
    • The full Newton update uses the exact gradient and Hessian of that quadratic
    • The objective is first converted to a linear function
  8. A non-quadratic objective is optimized with Newton’s method. What role does its quadratic model play?
    • It guarantees the global minimum in one step
    • It replaces the need to evaluate a gradient
    • It makes every Hessian positive definite
    • It approximates local curvature, so later iterations may be needed as the model changes