EleutherAI
EleutherAI adalah kolektif penelitian nirlaba akar rumput yang memelopori model bahasa besar sumber terbuka ketika AI terdepan terkurung di balik tembok perusahaan.
Ikhtisar
It proved that a volunteer community could build and freely release models rivaling closed systems, reshaping who gets to participate in AI research.
Menyelam Lebih Dalam
EleutherAI dimulai pada Juli 2020 sebagai komunitas Discord yang diorganisir oleh Connor Leahy, Sid Black, dan Leo Gao, awalnya bertujuan untuk mereplikasi GPT-3 OpenAI. Untuk melatih model seperti itu, pertama-tama mereka membuat dan merilis The Pile, kumpulan data teks kurasi berukuran 825 GB yang menjadi korpus pelatihan terbuka standar. Mereka kemudian merilis GPT-Neo, GPT-J-6B, dan GPT-NeoX-20B dengan 20 miliar parameter, yang merupakan salah satu model bahasa terbesar yang tersedia secara terbuka pada masanya. Alat mereka, termasuk perpustakaan pelatihan GPT-NeoX dan LM Evaluation Harness yang digunakan di seluruh industri untuk melakukan benchmarking, menjadi infrastruktur yang dibangun oleh perusahaan lain. Pada tahun 2023 EleutherAI diresmikan sebagai lembaga penelitian nirlaba, yang diperluas ke bidang interpretabilitas, penyelarasan, dan ilmu tentang cara model belajar.
Wawasan Teknis
Model EleutherAI menggunakan arsitektur decoder transformator, tetapi GPT-J dan GPT-NeoX memperkenalkan pilihan teknik praktis seperti Rotary Positional Embeddings (RoPE) untuk menyandikan posisi token dan memparalelkan lapisan perhatian-plus-umpan untuk mempercepat pelatihan. Yang terpenting, mereka melatih tentang TPU dan GPU yang disumbangkan melalui kemitraan seperti TPU Research Cloud dan CoreWeave milik Google, yang menunjukkan bahwa komputasi yang didistribusikan dan didanai sponsor dapat menggantikan pusat data perusahaan ketika dipasangkan dengan kode terbuka.
Dampak Strategis
Vendor strategy
Peta jalan vendor memengaruhi fitur apa yang dapat dibangun tim Anda selanjutnya.
Cost and budget
Persyaratan komersial dan opsi penerapan memengaruhi biaya dan risiko jangka panjang.
Risk and safety
Insentif perusahaan membentuk standar produk, postur keselamatan, dan keterbukaan.
Masa Depan EleutherAI
EleutherAI beralih dari perlombaan penskalaan model murni ke arah interpretasi, transparansi data pelatihan, dan evaluasi yang ketat, yang merupakan bidang-bidang yang paling membutuhkan ilmu pengetahuan terbuka. Harapkan upaya berkelanjutan untuk memahami model apa yang diwakili secara internal, merilis kumpulan data yang terdokumentasi dengan baik, dan mendukung penelitian keselamatan independen. Ketika laboratorium terdepan semakin tertutup, peran EleutherAI sebagai penyeimbang kepentingan publik, dengan melatih generasi peneliti berikutnya, kemungkinan besar lebih penting daripada jumlah parameter model apa pun yang dikirimkannya.
Implementasi Dunia Nyata
Kumpulan data Pile digunakan oleh para peneliti di seluruh dunia untuk melatih dan mempelajari model bahasa terbuka yang dapat direproduksi.
GPT-J-6B dan GPT-NeoX-20B diterapkan oleh perusahaan rintisan dan akademisi sebagai alternatif gratis untuk model API komersial.
LM Evaluation Harness adalah alat standar yang digunakan banyak laboratorium untuk mengukur kinerja model di ratusan tugas.
Peneliti keamanan dan interpretabilitas independen menggunakan bobot terbuka EleutherAI untuk mempelajari internal model yang disembunyikan oleh API tertutup.
Risiko & Pagar Pembatas
Pengumuman peluncuran mungkin melampaui stabilitas alur kerja produksi sebenarnya.
Penetapan harga API atau perubahan kebijakan dapat mematahkan asumsi dalam sekejap.
Ketergantungan pada vendor tunggal meningkatkan biaya lock-in dan migrasi.
Peta Jalan Implementasi
Evaluasi penyedia menggunakan tugas dan kumpulan data Anda sendiri.
Tinjau persyaratan privasi, keamanan, dan hukum sebelum integrasi.
Pertahankan rencana cadangan di seluruh model atau vendor.
Pantau catatan rilis agar perubahan peta jalan tidak mengejutkan tim.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the EleutherAI quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Bobot & Bias
Pertanyaan yang sering diajukan
What is EleutherAI?
EleutherAI adalah kolektif penelitian nirlaba akar rumput yang memelopori model bahasa besar sumber terbuka ketika AI terdepan terkurung di balik tembok perusahaan. Hal ini membuktikan bahwa komunitas sukarelawan dapat membangun dan secara bebas merilis model yang menyaingi sistem tertutup, sehingga membentuk kembali siapa saja yang dapat berpartisipasi dalam penelitian AI.
Bagaimana EleutherAI awalnya dimulai pada tahun 2020?
EleutherAI dimulai sebagai kumpulan sukarelawan Discord informal yang diorganisir untuk mereplikasi GPT-3 yang saat itu ditutup.
Apa itu 'Tumpukan'?
The Pile adalah korpus teks EleutherAI yang besar, beragam, dan dirilis secara terbuka yang dibuat untuk melatih dan mempelajari model bahasa.
Manakah dari berikut ini yang merupakan model bahasa EleutherAI?
GPT-NeoX-20B adalah salah satu model terbuka andalan EleutherAI; yang lainnya berasal dari Google atau Meta.
Untuk apa Harness Evaluasi LM digunakan?
Harness adalah alat terbuka yang diadopsi secara luas untuk evaluasi standar model bahasa pada ratusan tolok ukur.
Bagaimana EleutherAI memperoleh komputasi untuk melatih model besar sejak dini?
Karena tidak memiliki pusat data perusahaan, EleutherAI mengandalkan sumber daya TPU dan GPU yang disumbangkan sponsor untuk melatih modelnya.