แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

แบบทดสอบ Lookahead และ Lion Optimizers

ตรวจสอบน้ำหนักที่เร็วและช้าของ Lookahead การอัปเดตโมเมนตัมตามสัญญาณของ Lion และผลกระทบต่อการเลือกหน่วยความจำและอัตราการเรียนรู้

เส้นทางแนะนำที่เกี่ยวข้องเครื่องมือเพิ่มประสิทธิภาพ Lookahead และ Lion
คำถาม 1 ของ 8

ขั้นตอนการคำนวณที่กำหนดในการอัปเดตน้ำหนักของเครื่องมือเพิ่มประสิทธิภาพ Lion คืออะไร

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. ขั้นตอนการคำนวณที่กำหนดในการอัปเดตน้ำหนักของเครื่องมือเพิ่มประสิทธิภาพ Lion คืออะไร
    • การรับเครื่องหมายของคำที่อิงตามโมเมนตัม
    • การหารเกรเดียนต์ด้วยค่าเฉลี่ยรันนิ่งกำลังสอง
    • การคำนวณการประมาณ Hessian ลำดับที่สอง
    • การเฉลี่ยน้ำหนักของจุดตรวจหลายจุด
  2. Lookahead มีโครงสร้างการเพิ่มประสิทธิภาพอย่างไร
    • โดยจะใช้ชุดน้ำหนักชุดเดียวที่อัปเดตสองครั้งต่อขั้นตอน
    • จะรักษาตุ้มน้ำหนัก 'เร็ว' ที่อัปเดตโดยเครื่องมือเพิ่มประสิทธิภาพพื้นฐาน และตุ้มน้ำหนัก 'ช้า' ซึ่งจะประมาณค่าเหล่านั้นเป็นระยะ
    • มันจะลบโมเมนตัมทั้งหมดเพื่อประหยัดหน่วยความจำ
    • โดยจะฝึกสองเครือข่ายและหาค่าเฉลี่ยเอาต์พุต
  3. เครื่องมือเพิ่มประสิทธิภาพ Lion ถูกค้นพบครั้งแรกอย่างไร
    • โดยการหาค่าด้วยมือจากทฤษฎีการหาค่าเหมาะที่สุดแบบนูน
    • โดยเฉลี่ยการอัปเดตของ SGD และ Adam
    • ผ่านการค้นหาโปรแกรมสัญลักษณ์อัตโนมัติผ่านอัลกอริธึมของเครื่องมือเพิ่มประสิทธิภาพ
    • จากการจำลองการเคลื่อนที่ของอนุภาคทางฟิสิกส์
  4. เมื่อเทียบกับอดัม อะไรคือข้อได้เปรียบด้านความจำที่สำคัญของ Lion?
    • มันไม่เก็บสถานะเลย
    • โดยจะใช้ตุ้มน้ำหนักแบบกึ่งความแม่นยำโดยอัตโนมัติ
    • มันแบ่งปันสถานะในทุกเลเยอร์
    • มันเก็บบัฟเฟอร์โมเมนตัมเพียงตัวเดียวแทนที่จะเป็นเทนเซอร์สองตัวของอดัม
  5. เหตุใด Lion จึงต้องการอัตราการเรียนรู้น้อยกว่า Adam
    • เนื่องจากการดำเนินการลงชื่อเข้าใช้ทำให้ทุกการอัปเดตมีขนาดเท่ากัน จึงสามารถปรับขนาดขั้นตอนได้อย่างมีประสิทธิภาพ
    • เพราะมันไม่ใช้โมเมนตัม
    • เพราะมันประมวลผลชุดที่ใหญ่กว่า
    • เพราะมันทำให้น้ำหนักลดลง
  6. ประโยชน์เชิงปฏิบัติของ Lookahead คือมีแนวโน้มที่จะทำการฝึกอบรม:
    • มีความไวต่อการเลือกไฮเปอร์พารามิเตอร์มากขึ้น
    • มีเสถียรภาพและแข็งแกร่งมากขึ้นพร้อมการแกว่งที่ลดลง
    • ช้าลงทีละก้าวทีละสิบเท่า
    • เข้ากันไม่ได้กับอดัมหรือ SGD
  7. Lookahead slow weights are 0 and the fast weights end an inner loop at 8. If alpha is 0.25, where do the slow weights move?
    • To 8, regardless of alpha
    • To −2, away from the fast weights
    • To 2, one quarter of the distance toward the fast weights
    • They remain at 0 because alpha only changes Lion
  8. After Lookahead updates its slow weights at synchronization, where do the fast weights restart?
    • At the original random initialization
    • At the final validation predictions
    • At the previous slow weights before interpolation
    • At the updated slow-weight values for the next inner loop