แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบไล่ระดับการเร่งความเร็ว Nesterov

ทดสอบการไล่ระดับสีปัจจุบันเทียบกับการมองไปข้างหน้า การแก้ไขโมเมนตัม ขอบเขตอัตรานูน ต้นทุนที่เปรียบเทียบได้ Nadam และขั้นตอนการมองไปข้างหน้าเชิงตัวเลข

เส้นทางแนะนำที่เกี่ยวข้องNesterov เร่งการไล่ระดับสี
คำถาม 1 ของ 8

อะไรคือแนวคิดที่กำหนดของ Nesterov Accelerated Gradient เมื่อเปรียบเทียบกับโมเมนตัมแบบคลาสสิก

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. อะไรคือแนวคิดที่กำหนดของ Nesterov Accelerated Gradient เมื่อเปรียบเทียบกับโมเมนตัมแบบคลาสสิก
    • มันลบโมเมนตัมออกไปโดยสิ้นเชิง
    • ใช้อัตราการเรียนรู้คงที่ 1.0
    • โดยจะประเมินการไล่ระดับสีที่จุดมองไปข้างหน้ามากกว่าตำแหน่งปัจจุบัน
    • ใช้งานได้โดยไม่ต้องใช้มินิแบทช์เท่านั้น
  2. อัตราการลู่เข้าที่พิสูจน์ได้ของวิธีการของ Nesterov บรรลุผลสำเร็จในปัญหาการนูนที่ราบรื่นหรือไม่
    • สั่งซื้อ1/k^2
    • สั่งซื้อ1/ก
    • สั่งซื้อ1/log k
    • ไม่มีการรับประกันอัตรา
  3. ใครเป็นผู้ริเริ่มวิธีการไล่ระดับแบบเร่งนี้
    • เจฟฟรีย์ ฮินตัน ในปี 2012
    • ไอแซก นิวตัน
    • จอห์น ฟอน นอยมันน์
    • ยูริ เนสเตรอฟ ในปี 1983
  4. เหตุใดการไล่ระดับสีแบบมองไปข้างหน้าจึงช่วยใกล้กับจุดต่ำสุดของโค้ง
    • มันเพิ่มอัตราการเรียนรู้
    • คาดว่าจะเกินขอบเขตและใช้การแก้ไขก่อนที่จะเกิดขึ้น
    • มันจะลบคำว่าความเร็ว
    • มันสุ่มทิศทางของขั้นตอน
  5. ในทางปฏิบัติ ต้นทุนการคำนวณของโมเมนตัม Nesterov เปรียบเทียบกับโมเมนตัมแบบคลาสสิกเป็นอย่างไร
    • เช่นเดียวกัน ต้องขอบคุณการอัปเดตที่จัดเรียงพีชคณิตใหม่
    • สูงกว่าประมาณสิบเท่า
    • มันต้องมีอนุพันธ์อันดับสองทุกขั้นตอน
    • ไม่สามารถคำนวณบน GPU ได้
  6. เครื่องมือเพิ่มประสิทธิภาพแบบปรับตัวใดที่รวม Nesterov มองไปข้างหน้ากับการปรับขนาดแบบ Adam
    • RMSprop
    • อดากราด
    • นาดาม
    • LBFGS
  7. Using the stated look-ahead form, theta = 10, learning rate = 0.1, beta = 0.9 and velocity = 2 give which evaluation point?
    • 10.18
    • 9.82
    • 8.20
    • 10.90
  8. If beta is zero in the guide’s Nesterov look-ahead formula, where is the gradient evaluated?
    • At a point displaced by the full old velocity
    • At the previous validation score
    • At an arbitrary future minibatch
    • At the current parameter position