PANDUAN Syarikat
EleutherAI
EleutherAI ialah kolektif penyelidikan bukan untung akar umbi yang mempelopori model bahasa besar sumber terbuka apabila AI sempadan terkunci di sebalik dinding korporat.
Dengar panduan iniAI-diceritakan · ~2 min
Pada halaman ini2 min dibaca
Gambaran keseluruhan
It proved that a volunteer community could build and freely release models rivaling closed systems, reshaping who gets to participate in AI research.
Menyelam dalam
EleutherAI bermula pada Julai 2020 sebagai komuniti Discord yang dianjurkan oleh Connor Leahy, Sid Black dan Leo Gao, yang pada asalnya bertujuan untuk meniru GPT-3 OpenAI. Untuk melatih model sedemikian, mereka mula-mula membina dan mengeluarkan The Pile, set data teks susun atur 825GB yang menjadi korpus latihan terbuka standard. Mereka kemudiannya mengeluarkan GPT-Neo, GPT-J-6B, dan 20 bilion parameter GPT-NeoX-20B, antara model bahasa terbesar yang tersedia secara terbuka pada zaman mereka. Alat mereka, termasuk perpustakaan latihan GPT-NeoX dan LM Evaluation Harness yang digunakan di seluruh industri untuk penanda aras, menjadi infrastruktur yang dibina di atasnya. Pada tahun 2023 EleutherAI diformalkan sebagai institut penyelidikan bukan untung, meluaskan kepada kebolehtafsiran, penjajaran dan sains tentang cara model belajar.
Pelaksanaan Dunia Sebenar
Set data Pile digunakan oleh penyelidik di seluruh dunia untuk melatih dan mengkaji model bahasa terbuka secara berulang.
GPT-J-6B dan GPT-NeoX-20B digunakan oleh pemula dan ahli akademik sebagai alternatif percuma kepada model API komersial.
Harness Penilaian LM ialah alat standard yang digunakan oleh kebanyakan makmal untuk menanda aras prestasi model merentas ratusan tugasan.
Penyelidik keselamatan dan kebolehtafsiran bebas menggunakan pemberat terbuka EleutherAI untuk mengkaji model dalaman yang menyembunyikan API tertutup.
Masa Depan EleutherAI
EleutherAI sedang beralih daripada perlumbaan penskalaan model tulen ke arah kebolehtafsiran, ketelusan data latihan dan penilaian yang teliti, bidang yang sains terbuka amat diperlukan. Jangkakan usaha berterusan untuk memahami model yang diwakili secara dalaman, mengeluarkan set data yang didokumentasikan dengan baik dan menyokong penyelidikan keselamatan bebas. Memandangkan makmal sempadan berkembang lebih rahsia, peranan EleutherAI sebagai pengimbang kepentingan awam, melatih generasi penyelidik akan datang, mungkin lebih penting daripada kiraan parameter mana-mana model tunggal yang dihantarnya.
Mempraktikkannya
Mengapa ia penting
- Strategi vendor. Peta jalan vendor mempengaruhi ciri yang boleh dibina oleh pasukan anda seterusnya.
- Kos dan bajet. Terma komersial dan pilihan penggunaan mempengaruhi kos dan risiko jangka panjang.
- Risiko dan keselamatan. Insentif syarikat membentuk keingkaran produk, postur keselamatan dan keterbukaan.
Berhati-hati untuk
- Pengumuman pelancaran mungkin melebihi kestabilan dalam aliran kerja pengeluaran sebenar.
- Harga API atau anjakan dasar boleh memecahkan andaian semalaman.
- Kebergantungan vendor tunggal meningkatkan kos kunci masuk dan penghijrahan.
Langkah seterusnya
- Nilai penyedia menggunakan tugasan dan set data anda sendiri.
- Semak privasi, keselamatan dan syarat undang-undang sebelum penyepaduan.
- Kekalkan pelan sandaran merentas model atau vendor.
- Pantau nota keluaran supaya perubahan peta jalan tidak mengejutkan pasukan.
Teruskan Meneroka
Newsletter percuma
Dapatkan taklimat AI harian
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Take the EleutherAI quiz
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Soalan lazim
What is EleutherAI?
EleutherAI ialah kolektif penyelidikan bukan untung akar umbi yang mempelopori model bahasa besar sumber terbuka apabila AI sempadan terkunci di sebalik dinding korporat. Ia membuktikan bahawa komuniti sukarelawan boleh membina dan mengeluarkan model yang menyaingi sistem tertutup secara bebas, membentuk semula siapa yang boleh mengambil bahagian dalam penyelidikan AI.
How did EleutherAI first bring together its research community?
EleutherAI’s history page describes it as beginning in July 2020 as a Discord server for discussing GPT-3 and open language models.
Apakah 'The Pile'?
The Pile ialah korpus teks EleutherAI yang besar, pelbagai dan dikeluarkan secara terbuka yang dibina untuk melatih dan mengkaji model bahasa.
Antara berikut, yang manakah model bahasa EleutherAI?
GPT-NeoX-20B ialah salah satu model terbuka perdana EleutherAI; yang lain datang daripada Google atau Meta.
Apakah kegunaan LM Evaluation Harness?
Abah-abah ialah alat terbuka yang diterima pakai secara meluas untuk penilaian standard model bahasa pada beratus-ratus penanda aras.
Which organizations are named in EleutherAI’s retrospective as research supporters?
EleutherAI’s paper on open research acknowledges support and contributions from CoreWeave and TPU Research Cloud, among other supporters.
Teruskan belajar
Panduan berkaitan
Lebih banyak panduan dipilih untuk topik ini