แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบการกำหนดอัตราการเรียนรู้
ตรวจสอบกำหนดการวอร์มอัพ โคไซน์ และขั้นตอน พฤติกรรมการรีสตาร์ท ความไม่เสถียรตั้งแต่เนิ่นๆ และสูตรการฝึกวอร์มอัพแล้วเสื่อมทั่วไป
คำถาม 1 ของ 8
จุดประสงค์ของระยะ 'วอร์มอัพ' ในตารางอัตราการเรียนรู้คืออะไร
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- จุดประสงค์ของระยะ 'วอร์มอัพ' ในตารางอัตราการเรียนรู้คืออะไร
- เริ่มต้นด้วยอัตราเล็กน้อยและเพิ่มขึ้น หลีกเลี่ยงความไม่เสถียรจากการไล่ระดับที่มีเสียงดังในช่วงต้น
- เพื่อทำให้ความแม่นยำขั้นสุดท้ายลดลง
- เพื่อข้ามข้อมูลสองสามชุดแรก
- เพื่อหยุดน้ำหนักทั้งหมดตั้งแต่เริ่มต้น
- กำหนดการใดที่เป็นไปตามเส้นโค้งครึ่งโคไซน์ได้อย่างราบรื่นจนถึงอัตราขั้นต่ำ
- กำหนดการคงที่
- การหลอมโคไซน์
- ตารางสุ่ม
- เพิ่มขึ้นเชิงเส้น
- จะเกิดอะไรขึ้นหากอัตราการเรียนรู้ตั้งไว้สูงเกินไป
- การฝึกอบรมมาบรรจบกันทันทีด้วยความแม่นยำที่สมบูรณ์แบบ
- โมเดลฝึกช้าลงแต่ประสบความสำเร็จเสมอ
- การสูญเสียสามารถเบี่ยงเบนหรือผันผวนแทนที่จะลดลง
- ไม่มีอะไรเปลี่ยนแปลง อัตราไม่มีผลกระทบ
- การสลายตัวของขั้นตอนทำอะไรกับอัตราการเรียนรู้?
- เพิ่มขึ้นเป็นเส้นตรงทุกชุด
- ทำให้มันคงที่อย่างสมบูรณ์แบบ
- ตั้งค่าแบบสุ่มในแต่ละขั้นตอน
- ลดลงตามปัจจัยคงที่ในยุคที่กำหนดไว้ล่วงหน้า
- What does a warm restart do to a learning-rate schedule?
- It raises the learning rate again to begin another schedule cycle
- It resets the model parameters to random values
- It permanently fixes the learning rate at zero
- It deletes the optimizer’s moment estimates
- In Goyal et al.’s large-minibatch ImageNet setup, what did their warmup scheme address?
- It removed the need for a validation set
- It eased early optimization difficulties after the learning-rate scale increased with batch size
- It changed the model architecture after each epoch
- It converted the learning-rate curve into a cosine wave
- In the cosine formula, what does T denote?
- จำนวนเลเยอร์ของโมเดล
- ขนาดแบทช์
- The schedule horizon or total number of steps used for the decay
- The optimizer’s momentum coefficient
- If the cosine schedule uses lr_min greater than zero, where does the rate approach at the end of the horizon?
- Exactly zero regardless of lr_min
- The original warmup starting rate
- An unbounded value
- The specified minimum learning rate