แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

Stochastic Gradient Descent พร้อมแบบทดสอบโมเมนตัม

ทดสอบความเร็วสะสม การหน่วงการสั่น ผลกระทบของสัมประสิทธิ์ การไล่ระดับสีที่สม่ำเสมอ การเชื่อมต่อของอดัม และพฤติกรรมแบบไม่มีโมเมนตัม

เส้นทางแนะนำที่เกี่ยวข้องโคตรลาดสุ่มพร้อมโมเมนตัม
คำถาม 1 ของ 8

ระยะโมเมนตัมสะสมอะไรระหว่างการฝึก?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. ระยะโมเมนตัมสะสมอะไรระหว่างการฝึก?
    • จำนวนยุคการฝึกอบรมทั้งหมด
    • ค่าเฉลี่ยที่ทำงานอยู่ (ถ่วงน้ำหนักแบบเอ็กซ์โปเนนเชียล) ของการไล่ระดับสีที่ผ่านมา
    • ขนาดของชุดข้อมูล
    • ประวัติความแม่นยำของแบบจำลอง
  2. ในหุบเขาแคบและยาว SGD ธรรมดาประสบปัญหาอะไรและมีโมเมนตัมช่วยแก้ไข
    • มันล้นเป็นตัวเลข
    • มันหยุดการคำนวณการไล่ระดับสี
    • มันเพิ่มอัตราการเรียนรู้โดยอัตโนมัติ
    • มันซิกแซกข้ามกำแพงสูงชันและค่อยๆ เคลื่อนตัวไปตามพื้น
  3. ค่าเริ่มต้นทั่วไปสำหรับสัมประสิทธิ์โมเมนตัมคือ:
    • 0.9
    • 0.0
    • 0.5
    • 2.0
  4. การเปรียบเทียบทางกายภาพใดที่มักใช้อธิบายโมเมนตัมมากที่สุด
    • ลูกตุ้มที่แกว่งไปมาตลอดกาล
    • สปริงที่หักกลับ
    • ลูกบอลหนักกลิ้งลงเนิน
    • การแช่แข็งของน้ำ
  5. โมเมนตัมจะขยายขั้นตอนที่มีประสิทธิภาพในทิศทางที่สอดคล้องกันโดยประมาณเท่าใดเมื่อ beta = 0.9
    • ประมาณ 2 ครั้ง
    • ประมาณ 0.1 เท่า
    • ไม่มีการขยายเสียง
    • ประมาณ 10 ครั้ง
  6. เครื่องมือเพิ่มประสิทธิภาพสมัยใหม่ใดที่รวมการประมาณช่วงแรกแบบโมเมนตัมไว้ด้วย
    • วิธีการของนิวตัน
    • อดัม
    • K-หมายถึง
    • ค้นหาแบบสุ่ม
  7. In the update v = beta times v plus gradient, what happens when beta is zero?
    • The old velocity is doubled
    • Every gradient becomes zero
    • The previous velocity is discarded and the current gradient determines the step
    • The parameters stop depending on the learning rate
  8. Why can repeated gradients with opposing sideways directions produce less zig-zagging under momentum?
    • Their opposing contributions can partially cancel in accumulated velocity
    • All past gradients are stored as separate parameters
    • The loss becomes convex automatically
    • Momentum ignores the current gradient entirely