การรวมโมเดลวิวัฒนาการ Sakana AI
Sakana AI เป็นห้องปฏิบัติการในโตเกียวที่ใช้วิธีการที่ได้รับแรงบันดาลใจจากธรรมชาติกับ AI โดยเฉพาะอย่างยิ่งการใช้อัลกอริธึมเชิงวิวัฒนาการเพื่อผสานโมเดลแบบเปิดที่มีอยู่ให้เป็นแบบใหม่ที่ดีกว่า
ภาพรวม
Instead of training from scratch, it 'breeds' models by automatically combining their strengths.
เจาะลึก
Sakana AI ก่อตั้งขึ้นในปี 2023 โดย Llion Jones ผู้ร่วมเขียนรายงาน Transformer ต้นฉบับ 'Attention Is All You Need' และ David Ha อดีตสมาชิก Google Brain ชื่อนี้มีความหมายว่า 'ปลา' ในภาษาญี่ปุ่น ซึ่งสะท้อนถึงปรัชญาที่ได้รับแรงบันดาลใจจากโรงเรียนและฝูงสัตว์ ซึ่งเป็นกลุ่มตัวแทนขนาดเล็กจำนวนมาก แทนที่จะเป็นแบบจำลองขนาดยักษ์เพียงตัวเดียว เทคนิคที่ก้าวหน้าของบริษัทคือ Evolutionary Model Merging ใช้การค้นหาเชิงวิวัฒนาการเพื่อค้นหาวิธีรวมน้ำหนักและเลเยอร์ของโมเดลโอเพ่นซอร์สที่ได้รับการฝึกล่วงหน้าหลายตัว อัลกอริทึมจะสำรวจสูตรผสานหลายพันรายการ โดยเก็บชุดค่าผสมที่ทำคะแนนได้ดีในงานเป้าหมาย Sakana ใช้สิ่งนี้เพื่อสร้างโมเดลทางคณิตศาสตร์และการมองเห็นที่มีความสามารถภาษาญี่ปุ่นและภาษาญี่ปุ่น โดยการผสานโมเดลที่มีอยู่เข้าด้วยกัน โดยมีค่าใช้จ่ายเพียงเล็กน้อยในการฝึกอบรมโมเดลใหม่ บริษัทยังผลิต 'นักวิทยาศาสตร์ AI' ซึ่งเป็นระบบที่พยายามทำการวิจัยโดยอัตโนมัติ
ข้อมูลเชิงลึกทางเทคนิค
การรวมโมเดลจะผสมผสานพารามิเตอร์ของเครือข่ายที่ได้รับการฝึกแยกกัน Sakana วิวัฒนาการการรวมเป็นสองช่องว่างในคราวเดียว: พื้นที่พารามิเตอร์ (วิธีการถ่วงน้ำหนักและประมาณค่าน้ำหนักของแต่ละรุ่น ทีละชั้น) และพื้นที่กระแสข้อมูล (ซึ่งเลเยอร์ที่จะซ้อนโมเดลและในลำดับใด) อัลกอริธึมเชิงวิวัฒนาการจะเสนอสูตรอาหารที่ผู้สมัครเลือก ประเมินตามเกณฑ์มาตรฐาน และเลือกและกลายพันธุ์สูตรที่ดีที่สุด โดยวนซ้ำไปสู่สูตรผสมที่มีประสิทธิภาพสูงโดยไม่ต้องมีการฝึกแบบไล่ระดับ
ผลกระทบเชิงกลยุทธ์
กลยุทธ์ของผู้ขาย
โรดแมปของผู้จำหน่ายมีอิทธิพลต่อฟีเจอร์ที่ทีมของคุณสามารถสร้างได้ต่อไป
ต้นทุนและงบประมาณ
ข้อกำหนดทางการค้าและตัวเลือกการใช้งานส่งผลต่อต้นทุนและความเสี่ยงในระยะยาว
ความเสี่ยงและความปลอดภัย
สิ่งจูงใจของบริษัทจะกำหนดค่าเริ่มต้นของผลิตภัณฑ์ ท่าทางที่ปลอดภัย และความเปิดกว้าง
อนาคตของการผสานโมเดลวิวัฒนาการ Sakana AI
การผสานรวมเชิงวิวัฒนาการบอกเป็นนัยถึงอนาคตที่โมเดลที่มีความสามารถใหม่ๆ ถูกรวบรวมจากไลบรารีโมเดลแบบเปิดที่กำลังเติบโตในราคาถูก ทำให้เข้าถึงได้เป็นประชาธิปไตยนอกเหนือจากห้องปฏิบัติการที่มีงบประมาณในการประมวลผลมหาศาล เมื่อรวมกับ 'นักวิทยาศาสตร์ AI' อัตโนมัติของ Sakana วิสัยทัศน์ระยะยาวก็คือระบบ AI ที่ช่วยค้นพบการปรับปรุงของตนเอง คำถามปลายเปิด ได้แก่ การหลีกเลี่ยงโมเดลที่ผสานซึ่งสืบทอดจุดบกพร่องหรืออคติ และการค้นหาเชิงวิวัฒนาการจะปรับขนาดตามประสิทธิภาพระดับแนวหน้ามากกว่าที่จะเน้นเฉพาะโมเดลที่มีอยู่เป็นหลักหรือไม่
การใช้งานจริงในโลกแห่งความเป็นจริง
การสร้างแบบจำลองภาษาญี่ปุ่นที่แข็งแกร่งโดยการผสมผสานแบบจำลองแบบเปิดภาษาอังกฤษและภาษาญี่ปุ่นโดยไม่ต้องฝึกอบรมซ้ำ
การสร้างแบบจำลองการใช้เหตุผลทางคณิตศาสตร์ของญี่ปุ่นโดยการพัฒนาการผสมผสานแบบจำลองทางคณิตศาสตร์โดยเฉพาะ
การสร้างแบบจำลองภาษาวิสัยทัศน์ที่จัดการข้อความภาษาญี่ปุ่นในภาพผ่านการผสานข้ามโดเมน
ปล่อยให้องค์กรขนาดเล็กประกอบแบบจำลองเฉพาะงานในราคาถูกจากน้ำหนักแบบเปิด แทนที่จะฝึกอบรมตั้งแต่เริ่มต้น
ความเสี่ยงและรั้ว
การประกาศเปิดตัวอาจแซงหน้าความเสถียรในขั้นตอนการทำงานจริง
การกำหนดราคา API หรือการเปลี่ยนแปลงนโยบายสามารถทำลายสมมติฐานได้ในชั่วข้ามคืน
การพึ่งพาผู้ขายรายเดียวจะเพิ่มค่าใช้จ่ายในการล็อคอินและการย้ายข้อมูล
แผนงานการดำเนินงาน
ประเมินผู้ให้บริการโดยใช้งานและชุดข้อมูลของคุณเอง
ตรวจสอบความเป็นส่วนตัว ความปลอดภัย และข้อกำหนดทางกฎหมายก่อนรวมระบบ
รักษาแผนสำรองสำหรับรุ่นหรือผู้จำหน่าย
ตรวจสอบบันทึกประจำรุ่นเพื่อให้การเปลี่ยนแปลงแผนงานไม่ทำให้ทีมแปลกใจ
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Sakana AI Evolutionary Model Merging quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
การรวมโมเดล
คำถามที่พบบ่อย
What is Sakana AI Evolutionary Model Merging?
Sakana AI เป็นห้องปฏิบัติการในโตเกียวที่ใช้วิธีการที่ได้รับแรงบันดาลใจจากธรรมชาติกับ AI โดยเฉพาะอย่างยิ่งการใช้อัลกอริธึมเชิงวิวัฒนาการเพื่อผสานโมเดลแบบเปิดที่มีอยู่ให้เป็นแบบใหม่ที่ดีกว่า แทนที่จะฝึกฝนตั้งแต่เริ่มต้น ระบบจะ 'ขยาย' โมเดลโดยการรวมจุดแข็งของพวกมันเข้าด้วยกันโดยอัตโนมัติ
การรวมแบบจำลองวิวัฒนาการของ Sakana AI ทำหน้าที่อะไรจริงๆ
โดยจะพัฒนาสูตรสำหรับการรวมน้ำหนักและเลเยอร์ของโมเดลแบบเปิดที่ได้รับการฝึกไว้ล่วงหน้าหลายตัวเข้าด้วยกัน แทนที่จะฝึกใหม่
ใครคือผู้ร่วมก่อตั้ง Sakana AI ที่มีชื่อเสียง?
Llion Jones ผู้ร่วมเขียนหนังสือ 'Attention Is All You Need' เป็นผู้ร่วมก่อตั้ง Sakana ร่วมกับ David Ha
ความหมายของชื่อ ' สกาณา ' แปลว่าอะไร?
สกะนะ แปลว่า ปลา บริษัทให้ความสำคัญกับตัวแทนกลุ่มเล็กๆ จำนวนมากมากกว่าโมเดลเสาหินเดียว
Sakana พัฒนาโมเดลที่ผสานระหว่างสองช่องว่างใด
โดยจะค้นหาทั้งวิธีการชั่งน้ำหนัก/ประมาณค่าพารามิเตอร์ รวมถึงเลเยอร์ที่จะสแต็กและลำดับใด
นอกจากการรวมโมเดลแล้ว Sakana แนะนำระบบที่มีความทะเยอทะยานอะไรอีกบ้าง?
Sakana เปิดตัว 'นักวิทยาศาสตร์ AI' ซึ่งเป็นระบบที่พยายามทำให้กระบวนการวิจัยบางส่วนเป็นอัตโนมัติ