แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
Stochastic Gradient Descent พร้อมแบบทดสอบโมเมนตัม
ทดสอบความเร็วสะสม การหน่วงการสั่น ผลกระทบของสัมประสิทธิ์ การไล่ระดับสีที่สม่ำเสมอ การเชื่อมต่อของอดัม และพฤติกรรมแบบไม่มีโมเมนตัม
คำถาม 1 ของ 8
ระยะโมเมนตัมสะสมอะไรระหว่างการฝึก?
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- ระยะโมเมนตัมสะสมอะไรระหว่างการฝึก?
- จำนวนยุคการฝึกอบรมทั้งหมด
- ค่าเฉลี่ยที่ทำงานอยู่ (ถ่วงน้ำหนักแบบเอ็กซ์โปเนนเชียล) ของการไล่ระดับสีที่ผ่านมา
- ขนาดของชุดข้อมูล
- ประวัติความแม่นยำของแบบจำลอง
- ในหุบเขาแคบและยาว SGD ธรรมดาประสบปัญหาอะไรและมีโมเมนตัมช่วยแก้ไข
- มันล้นเป็นตัวเลข
- มันหยุดการคำนวณการไล่ระดับสี
- มันเพิ่มอัตราการเรียนรู้โดยอัตโนมัติ
- มันซิกแซกข้ามกำแพงสูงชันและค่อยๆ เคลื่อนตัวไปตามพื้น
- ค่าเริ่มต้นทั่วไปสำหรับสัมประสิทธิ์โมเมนตัมคือ:
- 0.9
- 0.0
- 0.5
- 2.0
- การเปรียบเทียบทางกายภาพใดที่มักใช้อธิบายโมเมนตัมมากที่สุด
- ลูกตุ้มที่แกว่งไปมาตลอดกาล
- สปริงที่หักกลับ
- ลูกบอลหนักกลิ้งลงเนิน
- การแช่แข็งของน้ำ
- โมเมนตัมจะขยายขั้นตอนที่มีประสิทธิภาพในทิศทางที่สอดคล้องกันโดยประมาณเท่าใดเมื่อ beta = 0.9
- ประมาณ 2 ครั้ง
- ประมาณ 0.1 เท่า
- ไม่มีการขยายเสียง
- ประมาณ 10 ครั้ง
- เครื่องมือเพิ่มประสิทธิภาพสมัยใหม่ใดที่รวมการประมาณช่วงแรกแบบโมเมนตัมไว้ด้วย
- วิธีการของนิวตัน
- อดัม
- K-หมายถึง
- ค้นหาแบบสุ่ม
- In the update v = beta times v plus gradient, what happens when beta is zero?
- The old velocity is doubled
- Every gradient becomes zero
- The previous velocity is discarded and the current gradient determines the step
- The parameters stop depending on the learning rate
- Why can repeated gradients with opposing sideways directions produce less zig-zagging under momentum?
- Their opposing contributions can partially cancel in accumulated velocity
- All past gradients are stored as separate parameters
- The loss becomes convex automatically
- Momentum ignores the current gradient entirely