แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบตารางการอุ่นเครื่องและการหลอมโคไซน์
ทดสอบบทบาทการฝึกอบรมในช่วงต้นของการวอร์มอัพ การเปลี่ยนไปใช้การสลายตัวของโคไซน์ และวิธีการอ่านทางลาดเชิงเส้นและจุดสิ้นสุดของกำหนดการ
คำถาม 1 ของ 8
จุดประสงค์หลักของขั้นตอนการวอร์มอัพเมื่อเริ่มต้นการฝึกซ้อมคืออะไร?
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- จุดประสงค์หลักของขั้นตอนการวอร์มอัพเมื่อเริ่มต้นการฝึกซ้อมคืออะไร?
- เพื่อรักษาเสถียรภาพของการฝึกตั้งแต่เนิ่นๆ เมื่อมีการสุ่มตุ้มน้ำหนักและการไล่ระดับสีมีเสียงดัง
- เพื่อเพิ่มขนาดแบทช์ทีละน้อย
- เพื่อตรึงชั้นล่างสุดของโมเดล
- เพื่อบีบอัดโมเดลเพื่อการอนุมานที่รวดเร็วยิ่งขึ้น
- การหลอมโคไซน์ทำให้อัตราการเรียนรู้ลดลงตามรูปร่างใด
- เส้นทแยงมุม
- เส้นโค้งโคไซน์ที่เริ่มต้นสูง ลดลง และแบนลงใกล้ศูนย์
- ฟังก์ชั่นขั้นตอนที่ลดลงในยุคคงที่
- การขัดขวางแบบเอ็กซ์โปเนนเชียลขึ้นไป
- เครื่องมือเพิ่มประสิทธิภาพใดที่ได้รับประโยชน์เป็นพิเศษจากการอุ่นเครื่องเนื่องจากการประมาณค่าความแปรปรวนไม่น่าเชื่อถือตั้งแต่เนิ่นๆ
- SGD ธรรมดาโดยไม่มีโมเมนตัม
- ค้นหาตาราง
- อดัมและตัวแปรของมัน
- K-หมายถึง
- ในสูตรโคไซน์ T แทนค่าอะไร
- อุณหภูมิของแบบจำลองสำหรับการสุ่มตัวอย่าง
- จำนวน GPU ที่ใช้
- ขนาดคำศัพท์โทเค็น
- จำนวนขั้นตอนการฝึกอบรมทั้งหมดในตาราง
- In the guide’s warmup-plus-cosine schedule, what begins after warmup reaches its target rate?
- Cosine decay begins from the peak learning rate
- All model weights are reset
- The schedule switches to a constant zero rate
- Momentum is removed from every optimizer
- A linear warmup rises from zero to its target rate over 200 steps. About what rate is used halfway through?
- The full target rate
- About half of the target rate
- The learning rate is exactly zero
- Twice the target rate
- At the cosine horizon t = T, what multiplier does the guide’s cosine formula produce?
- หนึ่ง
- One-half
- ศูนย์
- It becomes negative one
- Why use a gradual cosine decay after warmup rather than abruptly setting the rate to zero?
- It guarantees a global minimum
- It increases the model’s parameter count
- It removes the need to check training loss
- It lets the rate ease down so optimization can settle gradually