แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบการกำหนดอัตราการเรียนรู้

ตรวจสอบกำหนดการวอร์มอัพ โคไซน์ และขั้นตอน พฤติกรรมการรีสตาร์ท ความไม่เสถียรตั้งแต่เนิ่นๆ และสูตรการฝึกวอร์มอัพแล้วเสื่อมทั่วไป

เส้นทางแนะนำที่เกี่ยวข้องการจัดตารางอัตราการเรียนรู้
คำถาม 1 ของ 8

จุดประสงค์ของระยะ 'วอร์มอัพ' ในตารางอัตราการเรียนรู้คืออะไร

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. จุดประสงค์ของระยะ 'วอร์มอัพ' ในตารางอัตราการเรียนรู้คืออะไร
    • เริ่มต้นด้วยอัตราเล็กน้อยและเพิ่มขึ้น หลีกเลี่ยงความไม่เสถียรจากการไล่ระดับที่มีเสียงดังในช่วงต้น
    • เพื่อทำให้ความแม่นยำขั้นสุดท้ายลดลง
    • เพื่อข้ามข้อมูลสองสามชุดแรก
    • เพื่อหยุดน้ำหนักทั้งหมดตั้งแต่เริ่มต้น
  2. กำหนดการใดที่เป็นไปตามเส้นโค้งครึ่งโคไซน์ได้อย่างราบรื่นจนถึงอัตราขั้นต่ำ
    • กำหนดการคงที่
    • การหลอมโคไซน์
    • ตารางสุ่ม
    • เพิ่มขึ้นเชิงเส้น
  3. จะเกิดอะไรขึ้นหากอัตราการเรียนรู้ตั้งไว้สูงเกินไป
    • การฝึกอบรมมาบรรจบกันทันทีด้วยความแม่นยำที่สมบูรณ์แบบ
    • โมเดลฝึกช้าลงแต่ประสบความสำเร็จเสมอ
    • การสูญเสียสามารถเบี่ยงเบนหรือผันผวนแทนที่จะลดลง
    • ไม่มีอะไรเปลี่ยนแปลง อัตราไม่มีผลกระทบ
  4. การสลายตัวของขั้นตอนทำอะไรกับอัตราการเรียนรู้?
    • เพิ่มขึ้นเป็นเส้นตรงทุกชุด
    • ทำให้มันคงที่อย่างสมบูรณ์แบบ
    • ตั้งค่าแบบสุ่มในแต่ละขั้นตอน
    • ลดลงตามปัจจัยคงที่ในยุคที่กำหนดไว้ล่วงหน้า
  5. What does a warm restart do to a learning-rate schedule?
    • It raises the learning rate again to begin another schedule cycle
    • It resets the model parameters to random values
    • It permanently fixes the learning rate at zero
    • It deletes the optimizer’s moment estimates
  6. In Goyal et al.’s large-minibatch ImageNet setup, what did their warmup scheme address?
    • It removed the need for a validation set
    • It eased early optimization difficulties after the learning-rate scale increased with batch size
    • It changed the model architecture after each epoch
    • It converted the learning-rate curve into a cosine wave
  7. In the cosine formula, what does T denote?
    • จำนวนเลเยอร์ของโมเดล
    • ขนาดแบทช์
    • The schedule horizon or total number of steps used for the decay
    • The optimizer’s momentum coefficient
  8. If the cosine schedule uses lr_min greater than zero, where does the rate approach at the end of the horizon?
    • Exactly zero regardless of lr_min
    • The original warmup starting rate
    • An unbounded value
    • The specified minimum learning rate