แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบค่าเฉลี่ยน้ำหนักสุ่ม
ตรวจสอบค่าเฉลี่ยน้ำหนัก SWA พฤติกรรมอัตราการเรียนรู้ การปรับเทียบการปรับให้เป็นมาตรฐานแบบแบทช์ และความแตกต่างของแบบจำลองเฉลี่ยเดี่ยวจากทั้งมวล
คำถาม 1 ของ 8
Stochastic Weight Averaging จริงๆ แล้วเฉลี่ยเป็นเท่าใด?
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- Stochastic Weight Averaging จริงๆ แล้วเฉลี่ยเป็นเท่าใด?
- น้ำหนักของแบบจำลองสุ่มตัวอย่างหลายจุดในช่วงการฝึกอบรมล่าช้า
- การคาดการณ์ของแบบจำลองที่ได้รับการฝึกแยกกันหลายแบบ
- การไล่ระดับสีคำนวณจากมินิแบทช์ทั้งหมด
- อัตราการเรียนรู้ที่ใช้ในแต่ละยุคสมัย
- เหตุใด SWA จึงมีแนวโน้มที่จะปรับปรุงลักษณะทั่วไป
- จดจำชุดการฝึกได้แม่นยำยิ่งขึ้น
- โดยจะพบว่าค่าขั้นต่ำที่กว้างกว่าและแบนกว่าซึ่งมีประสิทธิภาพมากกว่าในข้อมูลที่มองไม่เห็น
- จะเพิ่มจำนวนพารามิเตอร์ในโมเดล
- โดยไม่จำเป็นต้องมีชุดการตรวจสอบความถูกต้อง
- SWA ต้องมีขั้นตอนเพิ่มเติมอะไรบ้างสำหรับเครือข่ายที่ใช้การทำให้เป็นมาตรฐานแบบแบตช์
- การฝึกอบรมเครือข่ายใหม่ตั้งแต่เริ่มต้น
- เพิ่มขนาดแบทช์เป็นสองเท่า
- การส่งต่อเพิ่มเติมเพื่อคำนวณสถิติการรัน BN ใหม่
- การลบเลเยอร์ออกกลางคันทั้งหมด
- โดยทั่วไปจะใช้พฤติกรรมอัตราการเรียนรู้ใดในระหว่างระยะการหาค่าเฉลี่ยของ SWA
- อัตราการเรียนรู้ลดลงเหลือศูนย์พอดี
- อัตราการเรียนรู้หนึ่งเพื่อความมั่นคง
- ไม่มีอัตราการเรียนรู้เลยเนื่องจากการฝึกฝนหยุดนิ่ง
- อัตราการเรียนรู้คงที่หรือเป็นวัฏจักรค่อนข้างสูง
- ต้นทุนการอนุมานของ SWA เปรียบเทียบกับชุด N รุ่นแบบดั้งเดิมอย่างไร
- มีราคาประมาณรุ่นเดียว เนื่องจากผลลัพธ์ที่ได้คือชุดตุ้มน้ำหนักชุดเดียว
- มันแพงกว่า N เท่า
- มันเหมือนกับการรันรุ่น N
- ไม่สามารถใช้สำหรับการอนุมานได้
- Why does the batch-normalization adjustment belong after SWA weight averaging?
- The averaging step deletes every convolution
- Its running statistics must be recomputed for the averaged weights
- It converts batch normalization into layer normalization
- It restores the original optimizer learning rate
- An SWA running mean combines n previous samples with a new weight vector w_i. Which update gives equal weight to all n+1 samples?
- w_SWA + n · w_i
- (w_SWA + w_i) divided by n
- (n · w_SWA + w_i) divided by (n + 1)
- n · (w_SWA − w_i)
- Why is SWA commonly started during the later part of training?
- It requires the model to remain at random initialization
- It can only average models with different architectures
- It replaces the training data with validation examples
- It averages nearby useful checkpoints from a trajectory after the model has made substantial progress