EleutherAI
EleutherAI ialah kolektif penyelidikan bukan untung akar umbi yang mempelopori model bahasa besar sumber terbuka apabila AI sempadan terkunci di sebalik dinding korporat.
Gambaran keseluruhan
It proved that a volunteer community could build and freely release models rivaling closed systems, reshaping who gets to participate in AI research.
Menyelam dalam
EleutherAI bermula pada Julai 2020 sebagai komuniti Discord yang dianjurkan oleh Connor Leahy, Sid Black dan Leo Gao, yang pada asalnya bertujuan untuk meniru GPT-3 OpenAI. Untuk melatih model sedemikian, mereka mula-mula membina dan mengeluarkan The Pile, set data teks susun atur 825GB yang menjadi korpus latihan terbuka standard. Mereka kemudiannya mengeluarkan GPT-Neo, GPT-J-6B, dan 20 bilion parameter GPT-NeoX-20B, antara model bahasa terbesar yang tersedia secara terbuka pada zaman mereka. Alat mereka, termasuk perpustakaan latihan GPT-NeoX dan LM Evaluation Harness yang digunakan di seluruh industri untuk penanda aras, menjadi infrastruktur yang dibina di atasnya. Pada tahun 2023 EleutherAI diformalkan sebagai institut penyelidikan bukan untung, meluaskan kepada kebolehtafsiran, penjajaran dan sains tentang cara model belajar.
Wawasan Teknikal
Model EleutherAI menggunakan seni bina penyahkod transformer, tetapi GPT-J dan GPT-NeoX memperkenalkan pilihan kejuruteraan praktikal seperti Rotary Positional Embeddings (RoPE) untuk pengekodan kedudukan token dan lapisan perhatian-tambah-makluman yang selari untuk latihan mempercepatkan. Yang penting, mereka berlatih tentang TPU dan GPU yang didermakan melalui perkongsian seperti TPU Research Cloud dan CoreWeave Google, menunjukkan bahawa pengiraan yang diedarkan dan dibiayai oleh penaja boleh menggantikan pusat data korporat apabila dipasangkan dengan kod terbuka.
Kesan Strategik
Strategi vendor
Peta jalan vendor mempengaruhi ciri yang boleh dibina oleh pasukan anda seterusnya.
Kos dan bajet
Terma komersial dan pilihan penggunaan mempengaruhi kos dan risiko jangka panjang.
Risiko dan keselamatan
Insentif syarikat membentuk keingkaran produk, postur keselamatan dan keterbukaan.
Masa Depan EleutherAI
EleutherAI sedang beralih daripada perlumbaan penskalaan model tulen ke arah kebolehtafsiran, ketelusan data latihan dan penilaian yang teliti, bidang yang sains terbuka amat diperlukan. Jangkakan usaha berterusan untuk memahami model yang diwakili secara dalaman, mengeluarkan set data yang didokumentasikan dengan baik dan menyokong penyelidikan keselamatan bebas. Memandangkan makmal sempadan berkembang lebih rahsia, peranan EleutherAI sebagai pengimbang kepentingan awam, melatih generasi penyelidik akan datang, mungkin lebih penting daripada kiraan parameter mana-mana model tunggal yang dihantarnya.
Pelaksanaan Dunia Sebenar
Set data Pile digunakan oleh penyelidik di seluruh dunia untuk melatih dan mengkaji model bahasa terbuka secara berulang.
GPT-J-6B dan GPT-NeoX-20B digunakan oleh pemula dan ahli akademik sebagai alternatif percuma kepada model API komersial.
Harness Penilaian LM ialah alat standard yang digunakan oleh kebanyakan makmal untuk menanda aras prestasi model merentas ratusan tugasan.
Penyelidik keselamatan dan kebolehtafsiran bebas menggunakan pemberat terbuka EleutherAI untuk mengkaji model dalaman yang menyembunyikan API tertutup.
Risiko & Pengawal
Pengumuman pelancaran mungkin melebihi kestabilan dalam aliran kerja pengeluaran sebenar.
Harga API atau anjakan dasar boleh memecahkan andaian semalaman.
Kebergantungan vendor tunggal meningkatkan kos kunci masuk dan penghijrahan.
Hala Tuju Pelaksanaan
Nilai penyedia menggunakan tugasan dan set data anda sendiri.
Semak privasi, keselamatan dan syarat undang-undang sebelum penyepaduan.
Kekalkan pelan sandaran merentas model atau vendor.
Pantau nota keluaran supaya perubahan peta jalan tidak mengejutkan pasukan.
Teruskan Meneroka
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the EleutherAI quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Panduan seterusnya
Berat & Bias
Soalan lazim
What is EleutherAI?
EleutherAI ialah kolektif penyelidikan bukan untung akar umbi yang mempelopori model bahasa besar sumber terbuka apabila AI sempadan terkunci di sebalik dinding korporat. Ia membuktikan bahawa komuniti sukarelawan boleh membina dan mengeluarkan model yang menyaingi sistem tertutup secara bebas, membentuk semula siapa yang boleh mengambil bahagian dalam penyelidikan AI.
Bagaimanakah EleutherAI pada asalnya bermula pada tahun 2020?
EleutherAI bermula sebagai kolektif Discord tidak rasmi sukarelawan yang dianjurkan untuk meniru GPT-3 yang ditutup pada masa itu.
Apakah 'The Pile'?
The Pile ialah korpus teks EleutherAI yang besar, pelbagai dan dikeluarkan secara terbuka yang dibina untuk melatih dan mengkaji model bahasa.
Antara berikut, yang manakah model bahasa EleutherAI?
GPT-NeoX-20B ialah salah satu model terbuka perdana EleutherAI; yang lain datang daripada Google atau Meta.
Apakah kegunaan LM Evaluation Harness?
Abah-abah ialah alat terbuka yang diterima pakai secara meluas untuk penilaian standard model bahasa pada beratus-ratus penanda aras.
Bagaimanakah EleutherAI memperoleh pengiraan untuk melatih model besar sejak awal?
Tidak mempunyai pusat data korporat, EleutherAI bergantung pada sumber TPU dan GPU yang disumbangkan oleh penaja untuk melatih modelnya.