แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
แบบทดสอบ Lookahead และ Lion Optimizers
ตรวจสอบน้ำหนักที่เร็วและช้าของ Lookahead การอัปเดตโมเมนตัมตามสัญญาณของ Lion และผลกระทบต่อการเลือกหน่วยความจำและอัตราการเรียนรู้
คำถาม 1 ของ 8
ขั้นตอนการคำนวณที่กำหนดในการอัปเดตน้ำหนักของเครื่องมือเพิ่มประสิทธิภาพ Lion คืออะไร
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- ขั้นตอนการคำนวณที่กำหนดในการอัปเดตน้ำหนักของเครื่องมือเพิ่มประสิทธิภาพ Lion คืออะไร
- การรับเครื่องหมายของคำที่อิงตามโมเมนตัม
- การหารเกรเดียนต์ด้วยค่าเฉลี่ยรันนิ่งกำลังสอง
- การคำนวณการประมาณ Hessian ลำดับที่สอง
- การเฉลี่ยน้ำหนักของจุดตรวจหลายจุด
- Lookahead มีโครงสร้างการเพิ่มประสิทธิภาพอย่างไร
- โดยจะใช้ชุดน้ำหนักชุดเดียวที่อัปเดตสองครั้งต่อขั้นตอน
- จะรักษาตุ้มน้ำหนัก 'เร็ว' ที่อัปเดตโดยเครื่องมือเพิ่มประสิทธิภาพพื้นฐาน และตุ้มน้ำหนัก 'ช้า' ซึ่งจะประมาณค่าเหล่านั้นเป็นระยะ
- มันจะลบโมเมนตัมทั้งหมดเพื่อประหยัดหน่วยความจำ
- โดยจะฝึกสองเครือข่ายและหาค่าเฉลี่ยเอาต์พุต
- เครื่องมือเพิ่มประสิทธิภาพ Lion ถูกค้นพบครั้งแรกอย่างไร
- โดยการหาค่าด้วยมือจากทฤษฎีการหาค่าเหมาะที่สุดแบบนูน
- โดยเฉลี่ยการอัปเดตของ SGD และ Adam
- ผ่านการค้นหาโปรแกรมสัญลักษณ์อัตโนมัติผ่านอัลกอริธึมของเครื่องมือเพิ่มประสิทธิภาพ
- จากการจำลองการเคลื่อนที่ของอนุภาคทางฟิสิกส์
- เมื่อเทียบกับอดัม อะไรคือข้อได้เปรียบด้านความจำที่สำคัญของ Lion?
- มันไม่เก็บสถานะเลย
- โดยจะใช้ตุ้มน้ำหนักแบบกึ่งความแม่นยำโดยอัตโนมัติ
- มันแบ่งปันสถานะในทุกเลเยอร์
- มันเก็บบัฟเฟอร์โมเมนตัมเพียงตัวเดียวแทนที่จะเป็นเทนเซอร์สองตัวของอดัม
- เหตุใด Lion จึงต้องการอัตราการเรียนรู้น้อยกว่า Adam
- เนื่องจากการดำเนินการลงชื่อเข้าใช้ทำให้ทุกการอัปเดตมีขนาดเท่ากัน จึงสามารถปรับขนาดขั้นตอนได้อย่างมีประสิทธิภาพ
- เพราะมันไม่ใช้โมเมนตัม
- เพราะมันประมวลผลชุดที่ใหญ่กว่า
- เพราะมันทำให้น้ำหนักลดลง
- ประโยชน์เชิงปฏิบัติของ Lookahead คือมีแนวโน้มที่จะทำการฝึกอบรม:
- มีความไวต่อการเลือกไฮเปอร์พารามิเตอร์มากขึ้น
- มีเสถียรภาพและแข็งแกร่งมากขึ้นพร้อมการแกว่งที่ลดลง
- ช้าลงทีละก้าวทีละสิบเท่า
- เข้ากันไม่ได้กับอดัมหรือ SGD
- Lookahead slow weights are 0 and the fast weights end an inner loop at 8. If alpha is 0.25, where do the slow weights move?
- To 8, regardless of alpha
- To −2, away from the fast weights
- To 2, one quarter of the distance toward the fast weights
- They remain at 0 because alpha only changes Lion
- After Lookahead updates its slow weights at synchronization, where do the fast weights restart?
- At the original random initialization
- At the final validation predictions
- At the previous slow weights before interpolation
- At the updated slow-weight values for the next inner loop