แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบเรื่อง Adam และ Adaptive Optimizers
ตรวจสอบช่วงเวลาการไล่ระดับสีของ Adam การแก้ไขอคติ การปรับขนาดแบบปรับได้ epsilon และการอัปเดตการลดน้ำหนักแบบแยกส่วนของ AdamW ในการอัพเดตพารามิเตอร์มาตรฐาน
คำถาม 1 ของ 8
อดัมติดตามปริมาณสองจำนวนใดสำหรับแต่ละพารามิเตอร์
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- อดัมติดตามปริมาณสองจำนวนใดสำหรับแต่ละพารามิเตอร์
- ค่าเฉลี่ยรันของการไล่ระดับสีและการไล่ระดับสีกำลังสอง
- ความชันสูงสุดและต่ำสุดเท่าที่เคยเห็นมา
- อัตราการเรียนรู้และขนาดแบทช์
- ค่าน้ำหนักและเครื่องหมายของมัน
- เหตุใดอดัมจึงใช้การแก้ไขอคติกับการประมาณค่าโมเมนต์ของมัน
- เนื่องจากการไล่ระดับสีมักจะเป็นลบเสมอในช่วงแรกของการฝึกซ้อม
- เนื่องจากค่าเฉลี่ยเคลื่อนที่เริ่มต้นที่ศูนย์และเอนเอียงไปทางศูนย์ตั้งแต่แรก
- เพื่อทำให้อัตราการเรียนรู้มีขนาดใหญ่ขึ้นเมื่อเวลาผ่านไป
- เพื่อลบจุดข้อมูลที่ผิดปกติออกจากแบตช์
- อะไรคือความแตกต่างที่สำคัญระหว่าง Adam และ AdamW?
- AdamW ไม่ได้ใช้แรงผลักดันเลย
- AdamW ลบการประมาณช่วงเวลาที่สอง
- AdamW แยกการสูญเสียน้ำหนักออกจากการอัปเดตตามการไล่ระดับสี
- AdamW ใช้งานได้กับเครือข่ายแบบ Convolutional เท่านั้น
- คำว่า epsilon ขนาดเล็กมีบทบาทอย่างไรในกฎการอัปเดตของ Adam
- มันกำหนดความแข็งแกร่งของโมเมนตัม
- ควบคุมจำนวนยุคการฝึกอบรม
- มันเพิ่มขนาดการไล่ระดับสี
- ป้องกันการหารด้วยศูนย์และทำให้การอัปเดตมีความเสถียร
- เหตุใดอดัมจึงมักถูกเรียกว่า 'ปรับตัว'?
- โดยจะให้แต่ละพารามิเตอร์มีขนาดขั้นตอนที่ปรับขนาดของตัวเองได้อย่างมีประสิทธิภาพ
- มันเปลี่ยนสถาปัตยกรรมเครือข่ายระหว่างการฝึกอบรม
- มันปรับชุดข้อมูลให้เข้ากับโมเดล
- โดยจะสลับระหว่างการจัดหมวดหมู่และการถดถอยโดยอัตโนมัติ
- Which Adam parameter controls the exponential decay rate of its squared-gradient estimate?
- Beta1
- Beta2
- Epsilon
- The weight-decay coefficient
- A parameter repeatedly receives large gradients. Which Adam quantity helps scale down its effective step?
- จำนวนเลเยอร์ของโมเดล
- The batch-normalization mean
- The second-moment estimate of squared gradients
- The AdamW weight-decay term alone
- What happens when beta2 is set closer to one, all else equal?
- The optimizer stops using gradients
- The first-moment estimate is deleted
- Weight decay becomes decoupled automatically
- The squared-gradient estimate decays more slowly and retains a longer history