แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบค่าเฉลี่ยน้ำหนักสุ่ม

ตรวจสอบค่าเฉลี่ยน้ำหนัก SWA พฤติกรรมอัตราการเรียนรู้ การปรับเทียบการปรับให้เป็นมาตรฐานแบบแบทช์ และความแตกต่างของแบบจำลองเฉลี่ยเดี่ยวจากทั้งมวล

เส้นทางแนะนำที่เกี่ยวข้องค่าเฉลี่ยน้ำหนักสุ่ม
คำถาม 1 ของ 8

Stochastic Weight Averaging จริงๆ แล้วเฉลี่ยเป็นเท่าใด?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. Stochastic Weight Averaging จริงๆ แล้วเฉลี่ยเป็นเท่าใด?
    • น้ำหนักของแบบจำลองสุ่มตัวอย่างหลายจุดในช่วงการฝึกอบรมล่าช้า
    • การคาดการณ์ของแบบจำลองที่ได้รับการฝึกแยกกันหลายแบบ
    • การไล่ระดับสีคำนวณจากมินิแบทช์ทั้งหมด
    • อัตราการเรียนรู้ที่ใช้ในแต่ละยุคสมัย
  2. เหตุใด SWA จึงมีแนวโน้มที่จะปรับปรุงลักษณะทั่วไป
    • จดจำชุดการฝึกได้แม่นยำยิ่งขึ้น
    • โดยจะพบว่าค่าขั้นต่ำที่กว้างกว่าและแบนกว่าซึ่งมีประสิทธิภาพมากกว่าในข้อมูลที่มองไม่เห็น
    • จะเพิ่มจำนวนพารามิเตอร์ในโมเดล
    • โดยไม่จำเป็นต้องมีชุดการตรวจสอบความถูกต้อง
  3. SWA ต้องมีขั้นตอนเพิ่มเติมอะไรบ้างสำหรับเครือข่ายที่ใช้การทำให้เป็นมาตรฐานแบบแบตช์
    • การฝึกอบรมเครือข่ายใหม่ตั้งแต่เริ่มต้น
    • เพิ่มขนาดแบทช์เป็นสองเท่า
    • การส่งต่อเพิ่มเติมเพื่อคำนวณสถิติการรัน BN ใหม่
    • การลบเลเยอร์ออกกลางคันทั้งหมด
  4. โดยทั่วไปจะใช้พฤติกรรมอัตราการเรียนรู้ใดในระหว่างระยะการหาค่าเฉลี่ยของ SWA
    • อัตราการเรียนรู้ลดลงเหลือศูนย์พอดี
    • อัตราการเรียนรู้หนึ่งเพื่อความมั่นคง
    • ไม่มีอัตราการเรียนรู้เลยเนื่องจากการฝึกฝนหยุดนิ่ง
    • อัตราการเรียนรู้คงที่หรือเป็นวัฏจักรค่อนข้างสูง
  5. ต้นทุนการอนุมานของ SWA เปรียบเทียบกับชุด N รุ่นแบบดั้งเดิมอย่างไร
    • มีราคาประมาณรุ่นเดียว เนื่องจากผลลัพธ์ที่ได้คือชุดตุ้มน้ำหนักชุดเดียว
    • มันแพงกว่า N เท่า
    • มันเหมือนกับการรันรุ่น N
    • ไม่สามารถใช้สำหรับการอนุมานได้
  6. Why does the batch-normalization adjustment belong after SWA weight averaging?
    • The averaging step deletes every convolution
    • Its running statistics must be recomputed for the averaged weights
    • It converts batch normalization into layer normalization
    • It restores the original optimizer learning rate
  7. An SWA running mean combines n previous samples with a new weight vector w_i. Which update gives equal weight to all n+1 samples?
    • w_SWA + n · w_i
    • (w_SWA + w_i) divided by n
    • (n · w_SWA + w_i) divided by (n + 1)
    • n · (w_SWA − w_i)
  8. Why is SWA commonly started during the later part of training?
    • It requires the model to remain at random initialization
    • It can only average models with different architectures
    • It replaces the training data with validation examples
    • It averages nearby useful checkpoints from a trajectory after the model has made substantial progress