PANDUAN Perusahaan
EleutherAI
EleutherAI adalah kolektif penelitian nirlaba akar rumput yang memelopori model bahasa besar sumber terbuka ketika AI terdepan terkurung di balik tembok perusahaan.
Dengarkan panduan iniDiceritakan oleh AI · ~2 min
Di halaman ini2 menit membaca
Ikhtisar
It proved that a volunteer community could build and freely release models rivaling closed systems, reshaping who gets to participate in AI research.
Menyelam Lebih Dalam
EleutherAI dimulai pada Juli 2020 sebagai komunitas Discord yang diorganisir oleh Connor Leahy, Sid Black, dan Leo Gao, awalnya bertujuan untuk mereplikasi GPT-3 OpenAI. Untuk melatih model seperti itu, pertama-tama mereka membuat dan merilis The Pile, kumpulan data teks kurasi berukuran 825 GB yang menjadi korpus pelatihan terbuka standar. Mereka kemudian merilis GPT-Neo, GPT-J-6B, dan GPT-NeoX-20B dengan 20 miliar parameter, yang merupakan salah satu model bahasa terbesar yang tersedia secara terbuka pada masanya. Alat mereka, termasuk perpustakaan pelatihan GPT-NeoX dan LM Evaluation Harness yang digunakan di seluruh industri untuk melakukan benchmarking, menjadi infrastruktur yang dibangun oleh perusahaan lain. Pada tahun 2023 EleutherAI diresmikan sebagai lembaga penelitian nirlaba, yang diperluas ke bidang interpretabilitas, penyelarasan, dan ilmu tentang cara model belajar.
Implementasi Dunia Nyata
Kumpulan data Pile digunakan oleh para peneliti di seluruh dunia untuk melatih dan mempelajari model bahasa terbuka yang dapat direproduksi.
GPT-J-6B dan GPT-NeoX-20B diterapkan oleh perusahaan rintisan dan akademisi sebagai alternatif gratis untuk model API komersial.
LM Evaluation Harness adalah alat standar yang digunakan banyak laboratorium untuk mengukur kinerja model di ratusan tugas.
Peneliti keamanan dan interpretabilitas independen menggunakan bobot terbuka EleutherAI untuk mempelajari internal model yang disembunyikan oleh API tertutup.
Masa Depan EleutherAI
EleutherAI beralih dari perlombaan penskalaan model murni ke arah interpretasi, transparansi data pelatihan, dan evaluasi yang ketat, yang merupakan bidang-bidang yang paling membutuhkan ilmu pengetahuan terbuka. Harapkan upaya berkelanjutan untuk memahami model apa yang diwakili secara internal, merilis kumpulan data yang terdokumentasi dengan baik, dan mendukung penelitian keselamatan independen. Ketika laboratorium terdepan semakin tertutup, peran EleutherAI sebagai penyeimbang kepentingan publik, dengan melatih generasi peneliti berikutnya, kemungkinan besar lebih penting daripada jumlah parameter model apa pun yang dikirimkannya.
Mempraktikkannya
Mengapa itu penting
- Strategi vendor. Peta jalan vendor memengaruhi fitur apa yang dapat dibangun tim Anda selanjutnya.
- Biaya dan anggaran. Persyaratan komersial dan opsi penerapan memengaruhi biaya dan risiko jangka panjang.
- Risiko dan keselamatan. Insentif perusahaan membentuk standar produk, postur keselamatan, dan keterbukaan.
Hati-hati
- Pengumuman peluncuran mungkin melampaui stabilitas alur kerja produksi sebenarnya.
- Penetapan harga API atau perubahan kebijakan dapat mematahkan asumsi dalam sekejap.
- Ketergantungan pada vendor tunggal meningkatkan biaya lock-in dan migrasi.
Langkah selanjutnya
- Evaluasi penyedia menggunakan tugas dan kumpulan data Anda sendiri.
- Tinjau persyaratan privasi, keamanan, dan hukum sebelum integrasi.
- Pertahankan rencana cadangan di seluruh model atau vendor.
- Pantau catatan rilis agar perubahan peta jalan tidak mengejutkan tim.
Terus Menjelajah
Buletin gratis
Dapatkan pengarahan AI harian
Tiga cerita AI terverifikasi setiap pagi hari kerja, ditulis dalam bahasa Inggris sederhana. Gratis selamanya, tanpa iklan.
Satu email setiap hari kerja. Berhenti berlangganan dalam satu klik. Kami tidak pernah menjual atau membagikan alamat Anda.
Uji diri Anda sendiri
Take the EleutherAI quiz
Umpan balik instan untuk setiap jawaban, dan sertifikat yang dapat dibagikan dengan ID yang dapat diverifikasi setelah Anda lulus kursus.
Mendukung pendidikan AI gratis. AI Understanding adalah organisasi nirlaba 501(c)(3) — tanpa iklan, tanpa paywall, selamanya. Berikan sumbangan
Pertanyaan yang sering diajukan
What is EleutherAI?
EleutherAI adalah kolektif penelitian nirlaba akar rumput yang memelopori model bahasa besar sumber terbuka ketika AI terdepan terkurung di balik tembok perusahaan. Hal ini membuktikan bahwa komunitas sukarelawan dapat membangun dan secara bebas merilis model yang menyaingi sistem tertutup, sehingga membentuk kembali siapa saja yang dapat berpartisipasi dalam penelitian AI.
How did EleutherAI first bring together its research community?
EleutherAI’s history page describes it as beginning in July 2020 as a Discord server for discussing GPT-3 and open language models.
Apa itu 'Tumpukan'?
The Pile adalah korpus teks EleutherAI yang besar, beragam, dan dirilis secara terbuka yang dibuat untuk melatih dan mempelajari model bahasa.
Manakah dari berikut ini yang merupakan model bahasa EleutherAI?
GPT-NeoX-20B adalah salah satu model terbuka andalan EleutherAI; yang lainnya berasal dari Google atau Meta.
Untuk apa Harness Evaluasi LM digunakan?
Harness adalah alat terbuka yang diadopsi secara luas untuk evaluasi standar model bahasa pada ratusan tolok ukur.
Which organizations are named in EleutherAI’s retrospective as research supporters?
EleutherAI’s paper on open research acknowledges support and contributions from CoreWeave and TPU Research Cloud, among other supporters.
Teruslah belajar
Panduan terkait
Panduan lainnya dipilih untuk topik ini