Penggabungan Model Evolusi AI Sakana
Sakana AI ialah makmal berasaskan Tokyo yang menggunakan kaedah yang diilhamkan oleh alam semula jadi pada AI, terutamanya menggunakan algoritma evolusi untuk menggabungkan model terbuka sedia ada kepada model baharu yang lebih baik.
Gambaran keseluruhan
Instead of training from scratch, it 'breeds' models by automatically combining their strengths.
Menyelam dalam
Sakana AI diasaskan pada tahun 2023 oleh Llion Jones, pengarang bersama kertas Transformer 'Attention Is All You Need' asal, dan David Ha, bekas Google Brain. Nama itu bermaksud 'ikan' dalam bahasa Jepun, mencerminkan falsafah yang diilhamkan oleh sekolah dan kawanan: banyak agen kecil dan kolektif dan bukannya satu model gergasi. Teknik terobosannya, Penggabungan Model Evolusi, menggunakan carian evolusi untuk mengetahui cara menggabungkan pemberat dan lapisan berbilang model sumber terbuka terlatih. Algoritma ini meneroka beribu-ribu resipi gabungan, mengekalkan kombinasi yang mendapat skor yang baik pada tugas sasaran. Sakana menggunakan ini untuk mencipta model matematik dan penglihatan bahasa Jepun dan Jepun yang berkebolehan dengan menggabungkan model sedia ada, pada sebahagian kecil daripada kos melatih model baharu. Syarikat itu juga menghasilkan 'Saintis AI,' sebuah sistem yang cuba mengautomasikan penyelidikan itu sendiri.
Wawasan Teknikal
Penggabungan model menggabungkan parameter rangkaian terlatih secara berasingan. Sakana berkembang bercantum dalam dua ruang sekaligus: ruang parameter (cara menimbang dan menginterpolasi pemberat setiap model, lapisan demi lapisan) dan ruang aliran data (lapisan dari mana model untuk disusun dan dalam susunan apa). Algoritma evolusi mencadangkan resipi calon, menilainya pada penanda aras dan memilih serta memutasi yang terbaik, beralih ke arah hibrid berprestasi tinggi tanpa latihan berasaskan kecerunan.
Kesan Strategik
Strategi vendor
Peta jalan vendor mempengaruhi ciri yang boleh dibina oleh pasukan anda seterusnya.
Kos dan bajet
Terma komersial dan pilihan penggunaan mempengaruhi kos dan risiko jangka panjang.
Risiko dan keselamatan
Insentif syarikat membentuk keingkaran produk, postur keselamatan dan keterbukaan.
Masa Depan Penggabungan Model Evolusi Sakana AI
Penggabungan evolusi membayangkan masa depan di mana model berkebolehan baharu dipasang daripada perpustakaan model terbuka yang semakin berkembang dengan murah, mendemokrasikan akses melangkaui makmal dengan belanjawan pengiraan yang besar. Digabungkan dengan 'AI Saintis' automatik Sakana, visi jangka panjang ialah sistem AI yang membantu menemui peningkatan mereka sendiri. Soalan terbuka termasuk mengelakkan model gabungan yang mewarisi pepijat atau berat sebelah, dan sama ada skala carian evolusi kepada prestasi peringkat sempadan dan bukannya mengkhususkan model sedia ada terutamanya.
Pelaksanaan Dunia Sebenar
Mencipta model bahasa berkebolehan Jepun yang kukuh dengan menggabungkan model terbuka bahasa Inggeris dan Jepun tanpa latihan semula
Membina model penaakulan matematik Jepun dengan mengembangkan kombinasi model pengkhususan matematik
Menghasilkan model bahasa penglihatan yang mengendalikan teks Jepun dalam imej melalui penggabungan merentas domain
Membenarkan organisasi yang lebih kecil memasang model khusus tugas dengan murah daripada pemberat terbuka dan bukannya latihan dari awal
Risiko & Pengawal
Pengumuman pelancaran mungkin melebihi kestabilan dalam aliran kerja pengeluaran sebenar.
Harga API atau anjakan dasar boleh memecahkan andaian semalaman.
Kebergantungan vendor tunggal meningkatkan kos kunci masuk dan penghijrahan.
Hala Tuju Pelaksanaan
Nilai penyedia menggunakan tugasan dan set data anda sendiri.
Semak privasi, keselamatan dan syarat undang-undang sebelum penyepaduan.
Kekalkan pelan sandaran merentas model atau vendor.
Pantau nota keluaran supaya perubahan peta jalan tidak mengejutkan pasukan.
Teruskan Meneroka
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Sakana AI Evolutionary Model Merging quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Panduan seterusnya
Penggabungan Model
Soalan lazim
What is Sakana AI Evolutionary Model Merging?
Sakana AI ialah makmal berasaskan Tokyo yang menggunakan kaedah yang diilhamkan oleh alam semula jadi pada AI, terutamanya menggunakan algoritma evolusi untuk menggabungkan model terbuka sedia ada kepada model baharu yang lebih baik. Daripada melatih dari awal, ia 'membiak' model dengan menggabungkan kekuatan mereka secara automatik.
Apakah sebenarnya yang dilakukan oleh penggabungan model evolusi Sakana AI?
Ia mengembangkan resipi untuk menggabungkan beberapa berat dan lapisan model terbuka yang telah dilatih, dan bukannya latihan semula.
Siapakah pengasas bersama Sakana AI yang terkenal?
Llion Jones, pengarang bersama 'Attention Is All You Need,' mengasaskan Sakana bersama David Ha.
Apakah maksud dan mencerminkan nama 'Sakana'?
Sakana bermaksud ikan; syarikat itu mengutamakan banyak ejen kolektif kecil berbanding satu model monolitik.
Sakana mengembangkan model cantuman merentasi dua ruang yang manakah?
Ia mencari kedua-dua cara untuk menimbang/menginterpolasi parameter dan lapisan mana yang hendak disusun dan dalam susunan apa.
Selain penggabungan model, apakah sistem bercita-cita tinggi yang diperkenalkan Sakana?
Sakana mengeluarkan 'AI Saintis,' sebuah sistem yang cuba mengautomasikan bahagian proses penyelidikan itu sendiri.