แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบตารางการอุ่นเครื่องและการหลอมโคไซน์

ทดสอบบทบาทการฝึกอบรมในช่วงต้นของการวอร์มอัพ การเปลี่ยนไปใช้การสลายตัวของโคไซน์ และวิธีการอ่านทางลาดเชิงเส้นและจุดสิ้นสุดของกำหนดการ

เส้นทางแนะนำที่เกี่ยวข้องตารางการอุ่นเครื่องและการหลอมโคไซน์
คำถาม 1 ของ 8

จุดประสงค์หลักของขั้นตอนการวอร์มอัพเมื่อเริ่มต้นการฝึกซ้อมคืออะไร?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. จุดประสงค์หลักของขั้นตอนการวอร์มอัพเมื่อเริ่มต้นการฝึกซ้อมคืออะไร?
    • เพื่อรักษาเสถียรภาพของการฝึกตั้งแต่เนิ่นๆ เมื่อมีการสุ่มตุ้มน้ำหนักและการไล่ระดับสีมีเสียงดัง
    • เพื่อเพิ่มขนาดแบทช์ทีละน้อย
    • เพื่อตรึงชั้นล่างสุดของโมเดล
    • เพื่อบีบอัดโมเดลเพื่อการอนุมานที่รวดเร็วยิ่งขึ้น
  2. การหลอมโคไซน์ทำให้อัตราการเรียนรู้ลดลงตามรูปร่างใด
    • เส้นทแยงมุม
    • เส้นโค้งโคไซน์ที่เริ่มต้นสูง ลดลง และแบนลงใกล้ศูนย์
    • ฟังก์ชั่นขั้นตอนที่ลดลงในยุคคงที่
    • การขัดขวางแบบเอ็กซ์โปเนนเชียลขึ้นไป
  3. เครื่องมือเพิ่มประสิทธิภาพใดที่ได้รับประโยชน์เป็นพิเศษจากการอุ่นเครื่องเนื่องจากการประมาณค่าความแปรปรวนไม่น่าเชื่อถือตั้งแต่เนิ่นๆ
    • SGD ธรรมดาโดยไม่มีโมเมนตัม
    • ค้นหาตาราง
    • อดัมและตัวแปรของมัน
    • K-หมายถึง
  4. ในสูตรโคไซน์ T แทนค่าอะไร
    • อุณหภูมิของแบบจำลองสำหรับการสุ่มตัวอย่าง
    • จำนวน GPU ที่ใช้
    • ขนาดคำศัพท์โทเค็น
    • จำนวนขั้นตอนการฝึกอบรมทั้งหมดในตาราง
  5. In the guide’s warmup-plus-cosine schedule, what begins after warmup reaches its target rate?
    • Cosine decay begins from the peak learning rate
    • All model weights are reset
    • The schedule switches to a constant zero rate
    • Momentum is removed from every optimizer
  6. A linear warmup rises from zero to its target rate over 200 steps. About what rate is used halfway through?
    • The full target rate
    • About half of the target rate
    • The learning rate is exactly zero
    • Twice the target rate
  7. At the cosine horizon t = T, what multiplier does the guide’s cosine formula produce?
    • หนึ่ง
    • One-half
    • ศูนย์
    • It becomes negative one
  8. Why use a gradual cosine decay after warmup rather than abruptly setting the rate to zero?
    • It guarantees a global minimum
    • It increases the model’s parameter count
    • It removes the need to check training loss
    • It lets the rate ease down so optimization can settle gradually