แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบการสะสมไล่ระดับสี
ทดสอบผลรวมของการไล่ระดับไมโครแบทช์ ขนาดแบทช์ที่มีประสิทธิภาพ มาตราส่วนการสูญเสีย เวลาของเครื่องมือเพิ่มประสิทธิภาพ ขีดจำกัดการทำให้เป็นมาตรฐาน และข้อผิดพลาดในการรีเซ็ตก่อนกำหนด
คำถาม 1 ของ 8
การสะสมแบบไล่ระดับช่วยให้คุณทำอะไรได้บ้าง
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- การสะสมแบบไล่ระดับช่วยให้คุณทำอะไรได้บ้าง
- ฝึกฝนโดยไม่ต้องใช้ GPU
- ข้ามผ่านย้อนกลับ
- จำลองขนาดแบตช์ที่มีประสิทธิภาพมากขึ้นบนหน่วยความจำที่จำกัด
- กำจัดเครื่องมือเพิ่มประสิทธิภาพโดยสิ้นเชิง
- ด้วยขั้นตอนการสะสมไมโครแบทช์ขนาด 4 และ 8 ขนาดแบทช์ที่มีประสิทธิภาพคือ:
- 32
- 4
- 8
- 12
- With an accumulation factor N, when should optimizer.step() and zero_grad() occur?
- หลังจากทุกไมโครแบทช์
- ไม่เคย
- ก่อนจะผ่านไปข้างหน้า
- Call optimizer.step() after N micro-batches, then clear gradients before the next accumulation window
- เพื่อรักษาอัตราการเรียนรู้ที่มีประสิทธิผลให้ถูกต้อง โดยปกติแล้วการสูญเสียต่อไมโครแบทช์จะเป็น:
- คูณด้วย N
- หารด้วยจำนวนขั้นสะสม N
- ตั้งค่าเป็นศูนย์
- ทดแทนด้วยความแม่นยำ
- เลเยอร์การทำให้เป็นมาตรฐานใดที่จับคู่กับการสะสมไล่ระดับสีได้สะอาดกว่า
- การทำให้เป็นมาตรฐานของเลเยอร์หรือกลุ่ม เนื่องจากไม่ได้ขึ้นอยู่กับสถิติแบบแบตช์
- การทำให้เป็นมาตรฐานแบบแบทช์ เพราะมันชอบแบทช์เล็กๆ
- ไม่มีการทำให้เป็นมาตรฐานทำงานร่วมกับมัน
- ออกกลางคันเท่านั้น
- ต้นทุนหลักของการใช้การสะสมแบบไล่ระดับคือ:
- ใช้หน่วยความจำ GPU มากขึ้นในช่วงพีค
- การสูญเสียการไล่ระดับสีทั้งหมด
- เวลานาฬิกาแขวนนานขึ้นต่อการอัพเดตที่มีประสิทธิภาพ
- ไม่สามารถใช้เครื่องมือเพิ่มประสิทธิภาพได้
- A training loop clears gradients after every micro-batch but steps the optimizer every fourth batch. What is lost?
- The model weights are deleted
- The earlier micro-batch contributions to the accumulated update
- The effective batch becomes four times larger
- The loss automatically becomes zero
- Why may four micro-batches with BatchNorm behave differently from one physical batch of the same total size?
- The optimizer cannot accept four backward passes
- Gradient addition is forbidden in BatchNorm
- The number of training examples changes
- BatchNorm uses statistics from each micro-batch rather than the combined batch