ต่อไปคำแนะนำต่อไป
สถานะเครื่องมือเพิ่มประสิทธิภาพออฟโหลดไปยัง CPU และ NVMe
เทคนิค
คู่มือทางเทคนิค
Lookahead และ Lion เป็นการหักมุมที่ทันสมัยสองประการในการเพิ่มประสิทธิภาพเครือข่ายประสาทเทียม
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
Lookahead ล้อมเครื่องมือเพิ่มประสิทธิภาพพื้นฐานด้วยน้ำหนัก 'ช้า' และ 'เร็ว' เพื่อความก้าวหน้าที่มีเสถียรภาพมากขึ้น ในขณะที่ Lion (EvoLved Sign Momentum) ถูกค้นพบโดยการค้นหาโปรแกรม AI และอัปเดตน้ำหนักโดยใช้เพียงเครื่องหมายของระยะโมเมนตัม ทำให้มีน้ำหนักเบาในหน่วยความจำและมักจะเร็วกว่า Adam
Lookahead ซึ่งเสนอโดย Zhang, Hinton และเพื่อนร่วมงานในปี 2019 ใช้งานเครื่องมือเพิ่มประสิทธิภาพมาตรฐาน 'เร็ว' (เช่น Adam หรือ SGD) สำหรับ k ขั้นตอน จากนั้นดันชุดน้ำหนัก 'ช้า' ที่แยกจากกันเพียงเสี้ยวหนึ่งของทางไปสู่จุดสิ้นสุดของตุ้มน้ำหนักเร็ว ซึ่งจะช่วยลดการสั่นและลดความไวต่อไฮเปอร์พารามิเตอร์ Lion ซึ่งเผยแพร่โดย Google ในปี 2023 มาจากการค้นหาโปรแกรมเชิงสัญลักษณ์ผ่านอัลกอริทึมของเครื่องมือเพิ่มประสิทธิภาพ โดยจะติดตามโมเมนตัมแต่ใช้ฟังก์ชันเครื่องหมายในการอัพเดต ดังนั้นทุกพารามิเตอร์จะเคลื่อนที่ตามขนาดขั้นตอนคงที่ในทิศทางของเครื่องหมายไล่ระดับสีแบบสะสม Lion เก็บเฉพาะบัฟเฟอร์โมเมนตัม (ครึ่งหนึ่งของสถานะของ Adam ซึ่งเก็บไว้สอง) ใช้การลดน้ำหนักที่มากขึ้นและอัตราการเรียนรู้ที่น้อยลง และจับคู่หรือเอาชนะ Adam ด้วยแบบจำลองการมองเห็นและภาษาที่กว้างใหญ่ ในขณะที่ฝึกฝนได้เร็วและถูกกว่า
การห่อ Adam ด้วย Lookahead เพื่อทำให้การฝึกหม้อแปลงมีความเสถียร และลดความพยายามในการปรับแต่งไฮเปอร์พารามิเตอร์
การใช้ Lion เพื่อฝึกโมเดลการมองเห็นขนาดใหญ่ (เช่น ViT) ที่มีหน่วยความจำออพติไมเซอร์ต่ำกว่า Adam
ฝึกฝนโมเดลภาษาล่วงหน้าด้วย Lion เพื่อให้ได้ความแม่นยำที่เทียบเคียงได้โดยมีต้นทุนการประมวลผลลดลง
การรวม Lookahead กับ SGD ในตัวแทนการเรียนรู้การเสริมกำลังเพื่อให้การอัปเดตนโยบายที่มีเสียงดังราบรื่น
Lion ถูกนำมาใช้ในการฝึกอบรมขนาดใหญ่หลายครั้ง เนื่องจากมีการตัดหน่วยความจำของเครื่องมือเพิ่มประสิทธิภาพและสามารถเร่งการผสานรวมได้ และการค้นพบนี้แสดงให้เห็นการค้นหาอัลกอริทึม 'การออกแบบ AI-AI' อัตโนมัติในฐานะแหล่งที่มาที่แท้จริงของผลประโยชน์ในทางปฏิบัติ คาดว่าจะมีเครื่องมือเพิ่มประสิทธิภาพที่ได้รับจากการค้นหามากขึ้น รูปแบบไฮบริดที่ผสมผสานน้ำหนักที่ช้าแบบ Lookahead เข้ากับการอัปเดตตามสัญญาณ และความสนใจที่เพิ่มขึ้นในเครื่องมือเพิ่มประสิทธิภาพหน่วยความจำอย่างมีประสิทธิภาพ เนื่องจากขนาดโมเดลเน้นย้ำถึงงบประมาณหน่วยความจำ GPU
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
Lookahead และ Lion เป็นการหักมุมที่ทันสมัยสองประการในการเพิ่มประสิทธิภาพเครือข่ายประสาทเทียม Lookahead ล้อมเครื่องมือเพิ่มประสิทธิภาพพื้นฐานด้วยน้ำหนัก 'ช้า' และ 'เร็ว' เพื่อความก้าวหน้าที่เสถียรยิ่งขึ้น ในขณะที่ Lion (EvoLved Sign Momentum) ถูกค้นพบโดยการค้นหาโปรแกรม AI และอัปเดตน้ำหนักโดยใช้เพียงเครื่องหมายของระยะโมเมนตัม ซึ่งทำให้หน่วยความจำเบาและมักจะเร็วกว่า Adam
Lion ใช้ฟังก์ชันเครื่องหมายกับเทอมโมเมนตัมที่ประมาณค่าไว้ ดังนั้นทุกพารามิเตอร์จึงเคลื่อนที่เป็นขั้นสม่ำเสมอในทิศทางเครื่องหมายของการไล่ระดับสี
Lookahead เรียกใช้เครื่องมือเพิ่มประสิทธิภาพภายในที่รวดเร็วสำหรับ k ขั้นตอน จากนั้นย้ายตุ้มน้ำหนักที่ช้าเพียงเศษเสี้ยวของเส้นทางไปยังตุ้มน้ำหนักที่รวดเร็วและรีเซ็ต
Lion (EvoLved Sign Momentum) เกิดขึ้นจากขั้นตอนการค้นหาโปรแกรมที่พัฒนาและประเมินโปรแกรมเพิ่มประสิทธิภาพของผู้สมัคร
อดัมติดตามทั้งช่วงแรกและช่วงที่สอง Lion เก็บบัฟเฟอร์โมเมนตัมเพียงตัวเดียว ส่งผลให้หน่วยความจำสถานะตัวเพิ่มประสิทธิภาพลดลงครึ่งหนึ่งโดยประมาณ
เนื่องจากฟังก์ชันเครื่องหมายจะแก้ไขขนาดของการอัปเดตของแต่ละพิกัด ขั้นตอนที่มีประสิทธิภาพจึงมีขนาดใหญ่ ดังนั้นจึงใช้อัตราการเรียนรู้ที่น้อยลง (และการสลายตัวของน้ำหนักที่มากขึ้น)
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
สถานะเครื่องมือเพิ่มประสิทธิภาพออฟโหลดไปยัง CPU และ NVMe
เทคนิค