แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบการสะสมไล่ระดับสี

ทดสอบผลรวมของการไล่ระดับไมโครแบทช์ ขนาดแบทช์ที่มีประสิทธิภาพ มาตราส่วนการสูญเสีย เวลาของเครื่องมือเพิ่มประสิทธิภาพ ขีดจำกัดการทำให้เป็นมาตรฐาน และข้อผิดพลาดในการรีเซ็ตก่อนกำหนด

เส้นทางแนะนำที่เกี่ยวข้องการสะสมไล่ระดับ
คำถาม 1 ของ 8

การสะสมแบบไล่ระดับช่วยให้คุณทำอะไรได้บ้าง

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. การสะสมแบบไล่ระดับช่วยให้คุณทำอะไรได้บ้าง
    • ฝึกฝนโดยไม่ต้องใช้ GPU
    • ข้ามผ่านย้อนกลับ
    • จำลองขนาดแบตช์ที่มีประสิทธิภาพมากขึ้นบนหน่วยความจำที่จำกัด
    • กำจัดเครื่องมือเพิ่มประสิทธิภาพโดยสิ้นเชิง
  2. ด้วยขั้นตอนการสะสมไมโครแบทช์ขนาด 4 และ 8 ขนาดแบทช์ที่มีประสิทธิภาพคือ:
    • 32
    • 4
    • 8
    • 12
  3. With an accumulation factor N, when should optimizer.step() and zero_grad() occur?
    • หลังจากทุกไมโครแบทช์
    • ไม่เคย
    • ก่อนจะผ่านไปข้างหน้า
    • Call optimizer.step() after N micro-batches, then clear gradients before the next accumulation window
  4. เพื่อรักษาอัตราการเรียนรู้ที่มีประสิทธิผลให้ถูกต้อง โดยปกติแล้วการสูญเสียต่อไมโครแบทช์จะเป็น:
    • คูณด้วย N
    • หารด้วยจำนวนขั้นสะสม N
    • ตั้งค่าเป็นศูนย์
    • ทดแทนด้วยความแม่นยำ
  5. เลเยอร์การทำให้เป็นมาตรฐานใดที่จับคู่กับการสะสมไล่ระดับสีได้สะอาดกว่า
    • การทำให้เป็นมาตรฐานของเลเยอร์หรือกลุ่ม เนื่องจากไม่ได้ขึ้นอยู่กับสถิติแบบแบตช์
    • การทำให้เป็นมาตรฐานแบบแบทช์ เพราะมันชอบแบทช์เล็กๆ
    • ไม่มีการทำให้เป็นมาตรฐานทำงานร่วมกับมัน
    • ออกกลางคันเท่านั้น
  6. ต้นทุนหลักของการใช้การสะสมแบบไล่ระดับคือ:
    • ใช้หน่วยความจำ GPU มากขึ้นในช่วงพีค
    • การสูญเสียการไล่ระดับสีทั้งหมด
    • เวลานาฬิกาแขวนนานขึ้นต่อการอัพเดตที่มีประสิทธิภาพ
    • ไม่สามารถใช้เครื่องมือเพิ่มประสิทธิภาพได้
  7. A training loop clears gradients after every micro-batch but steps the optimizer every fourth batch. What is lost?
    • The model weights are deleted
    • The earlier micro-batch contributions to the accumulated update
    • The effective batch becomes four times larger
    • The loss automatically becomes zero
  8. Why may four micro-batches with BatchNorm behave differently from one physical batch of the same total size?
    • The optimizer cannot accept four backward passes
    • Gradient addition is forbidden in BatchNorm
    • The number of training examples changes
    • BatchNorm uses statistics from each micro-batch rather than the combined batch