แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบไล่ระดับการเร่งความเร็ว Nesterov
ทดสอบการไล่ระดับสีปัจจุบันเทียบกับการมองไปข้างหน้า การแก้ไขโมเมนตัม ขอบเขตอัตรานูน ต้นทุนที่เปรียบเทียบได้ Nadam และขั้นตอนการมองไปข้างหน้าเชิงตัวเลข
คำถาม 1 ของ 8
อะไรคือแนวคิดที่กำหนดของ Nesterov Accelerated Gradient เมื่อเปรียบเทียบกับโมเมนตัมแบบคลาสสิก
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- อะไรคือแนวคิดที่กำหนดของ Nesterov Accelerated Gradient เมื่อเปรียบเทียบกับโมเมนตัมแบบคลาสสิก
- มันลบโมเมนตัมออกไปโดยสิ้นเชิง
- ใช้อัตราการเรียนรู้คงที่ 1.0
- โดยจะประเมินการไล่ระดับสีที่จุดมองไปข้างหน้ามากกว่าตำแหน่งปัจจุบัน
- ใช้งานได้โดยไม่ต้องใช้มินิแบทช์เท่านั้น
- อัตราการลู่เข้าที่พิสูจน์ได้ของวิธีการของ Nesterov บรรลุผลสำเร็จในปัญหาการนูนที่ราบรื่นหรือไม่
- สั่งซื้อ1/k^2
- สั่งซื้อ1/ก
- สั่งซื้อ1/log k
- ไม่มีการรับประกันอัตรา
- ใครเป็นผู้ริเริ่มวิธีการไล่ระดับแบบเร่งนี้
- เจฟฟรีย์ ฮินตัน ในปี 2012
- ไอแซก นิวตัน
- จอห์น ฟอน นอยมันน์
- ยูริ เนสเตรอฟ ในปี 1983
- เหตุใดการไล่ระดับสีแบบมองไปข้างหน้าจึงช่วยใกล้กับจุดต่ำสุดของโค้ง
- มันเพิ่มอัตราการเรียนรู้
- คาดว่าจะเกินขอบเขตและใช้การแก้ไขก่อนที่จะเกิดขึ้น
- มันจะลบคำว่าความเร็ว
- มันสุ่มทิศทางของขั้นตอน
- ในทางปฏิบัติ ต้นทุนการคำนวณของโมเมนตัม Nesterov เปรียบเทียบกับโมเมนตัมแบบคลาสสิกเป็นอย่างไร
- เช่นเดียวกัน ต้องขอบคุณการอัปเดตที่จัดเรียงพีชคณิตใหม่
- สูงกว่าประมาณสิบเท่า
- มันต้องมีอนุพันธ์อันดับสองทุกขั้นตอน
- ไม่สามารถคำนวณบน GPU ได้
- เครื่องมือเพิ่มประสิทธิภาพแบบปรับตัวใดที่รวม Nesterov มองไปข้างหน้ากับการปรับขนาดแบบ Adam
- RMSprop
- อดากราด
- นาดาม
- LBFGS
- Using the stated look-ahead form, theta = 10, learning rate = 0.1, beta = 0.9 and velocity = 2 give which evaluation point?
- 10.18
- 9.82
- 8.20
- 10.90
- If beta is zero in the guide’s Nesterov look-ahead formula, where is the gradient evaluated?
- At a point displaced by the full old velocity
- At the previous validation score
- At an arbitrary future minibatch
- At the current parameter position