แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบเรื่อง Adam และ Adaptive Optimizers

ตรวจสอบช่วงเวลาการไล่ระดับสีของ Adam การแก้ไขอคติ การปรับขนาดแบบปรับได้ epsilon และการอัปเดตการลดน้ำหนักแบบแยกส่วนของ AdamW ในการอัพเดตพารามิเตอร์มาตรฐาน

คำถาม 1 ของ 8

อดัมติดตามปริมาณสองจำนวนใดสำหรับแต่ละพารามิเตอร์

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. อดัมติดตามปริมาณสองจำนวนใดสำหรับแต่ละพารามิเตอร์
    • ค่าเฉลี่ยรันของการไล่ระดับสีและการไล่ระดับสีกำลังสอง
    • ความชันสูงสุดและต่ำสุดเท่าที่เคยเห็นมา
    • อัตราการเรียนรู้และขนาดแบทช์
    • ค่าน้ำหนักและเครื่องหมายของมัน
  2. เหตุใดอดัมจึงใช้การแก้ไขอคติกับการประมาณค่าโมเมนต์ของมัน
    • เนื่องจากการไล่ระดับสีมักจะเป็นลบเสมอในช่วงแรกของการฝึกซ้อม
    • เนื่องจากค่าเฉลี่ยเคลื่อนที่เริ่มต้นที่ศูนย์และเอนเอียงไปทางศูนย์ตั้งแต่แรก
    • เพื่อทำให้อัตราการเรียนรู้มีขนาดใหญ่ขึ้นเมื่อเวลาผ่านไป
    • เพื่อลบจุดข้อมูลที่ผิดปกติออกจากแบตช์
  3. อะไรคือความแตกต่างที่สำคัญระหว่าง Adam และ AdamW?
    • AdamW ไม่ได้ใช้แรงผลักดันเลย
    • AdamW ลบการประมาณช่วงเวลาที่สอง
    • AdamW แยกการสูญเสียน้ำหนักออกจากการอัปเดตตามการไล่ระดับสี
    • AdamW ใช้งานได้กับเครือข่ายแบบ Convolutional เท่านั้น
  4. คำว่า epsilon ขนาดเล็กมีบทบาทอย่างไรในกฎการอัปเดตของ Adam
    • มันกำหนดความแข็งแกร่งของโมเมนตัม
    • ควบคุมจำนวนยุคการฝึกอบรม
    • มันเพิ่มขนาดการไล่ระดับสี
    • ป้องกันการหารด้วยศูนย์และทำให้การอัปเดตมีความเสถียร
  5. เหตุใดอดัมจึงมักถูกเรียกว่า 'ปรับตัว'?
    • โดยจะให้แต่ละพารามิเตอร์มีขนาดขั้นตอนที่ปรับขนาดของตัวเองได้อย่างมีประสิทธิภาพ
    • มันเปลี่ยนสถาปัตยกรรมเครือข่ายระหว่างการฝึกอบรม
    • มันปรับชุดข้อมูลให้เข้ากับโมเดล
    • โดยจะสลับระหว่างการจัดหมวดหมู่และการถดถอยโดยอัตโนมัติ
  6. Which Adam parameter controls the exponential decay rate of its squared-gradient estimate?
    • Beta1
    • Beta2
    • Epsilon
    • The weight-decay coefficient
  7. A parameter repeatedly receives large gradients. Which Adam quantity helps scale down its effective step?
    • จำนวนเลเยอร์ของโมเดล
    • The batch-normalization mean
    • The second-moment estimate of squared gradients
    • The AdamW weight-decay term alone
  8. What happens when beta2 is set closer to one, all else equal?
    • The optimizer stops using gradients
    • The first-moment estimate is deleted
    • Weight decay becomes decoupled automatically
    • The squared-gradient estimate decays more slowly and retains a longer history