EleutherAI
EleutherAI, yapay zekanın kurumsal duvarların arkasına kilitlendiği dönemde açık kaynaklı büyük dil modellerine öncülük eden, kar amacı gütmeyen, tabandan gelen bir araştırma topluluğudur.
Genel Bakış
It proved that a volunteer community could build and freely release models rivaling closed systems, reshaping who gets to participate in AI research.
Derin Dalış
EleutherAI, Temmuz 2020'de Connor Leahy, Sid Black ve Leo Gao tarafından organize edilen ve başlangıçta OpenAI'nin GPT-3'ünü kopyalamayı amaçlayan bir Discord topluluğu olarak başladı. Bu tür modelleri eğitmek için ilk olarak standart bir açık eğitim külliyatı haline gelen 825 GB'lık seçilmiş bir metin veri kümesi olan The Pile'ı oluşturup yayınladılar. Daha sonra zamanlarının en büyük açık dil modelleri arasında yer alan GPT-Neo, GPT-J-6B ve 20 milyar parametreli GPT-NeoX-20B'yi piyasaya sürdüler. GPT-NeoX eğitim kütüphanesi ve sektör genelinde kıyaslama için kullanılan LM Evaluation Harness dahil olmak üzere araçları, diğerlerinin üzerine inşa ettiği altyapı haline geldi. 2023 yılında EleutherAI, kar amacı gütmeyen bir araştırma enstitüsü olarak resmileşti ve yorumlanabilirlik, hizalama ve modellerin nasıl öğrendiğine ilişkin bilimi kapsayacak şekilde genişledi.
Teknik Bilgi
EleutherAI'nin modelleri transformatör kod çözücü mimarisini kullanıyor ancak GPT-J ve GPT-NeoX, jeton konumlarını kodlamak için Döner Konumsal Yerleştirmeler (RoPE) ve eğitimi hızlandırmak için paralelleştirilmiş dikkat artı ileri besleme katmanları gibi pratik mühendislik seçenekleri sundu. En önemlisi, Google'nin TPU Araştırma Bulutu ve CoreWeave gibi ortaklıklar aracılığıyla bağışlanan TPU'lar ve GPU'lar üzerinde eğitim aldılar; dağıtılmış, sponsor tarafından finanse edilen bilgi işlemin, açık kodla eşleştirildiğinde kurumsal bir veri merkezinin yerini alabileceğini gösterdiler.
Stratejik Etki
Vendor strategy
Satıcı yol haritaları, ekibinizin bundan sonra hangi özellikleri geliştirebileceğini etkiler.
Maliyet ve bütçe
Ticari şartlar ve dağıtım seçenekleri uzun vadeli maliyet ve riski etkiler.
Risk and safety
Şirket teşvikleri ürün temerrütlerini, güvenlik duruşunu ve açıklığı şekillendirir.
EleutherAI'nin Geleceği
EleutherAI, saf model ölçeklendirme yarışından, açık bilimin en çok ihtiyaç duyulduğu alanlar olan yorumlanabilirliğe, eğitim-veri şeffaflığına ve titiz değerlendirmeye doğru geçiş yapıyor. Modellerin dahili olarak neyi temsil ettiğini anlamaya, iyi belgelenmiş veri kümelerini yayınlamaya ve bağımsız güvenlik araştırmalarını desteklemeye yönelik çalışmaların devam etmesini bekliyoruz. Sınır laboratuvarları daha gizli hale geldikçe, EleutherAI'nin yeni nesil araştırmacıları eğiten kamu çıkarını dengeleyen rolü, muhtemelen gönderdiği herhangi bir modelin parametre sayısından daha önemli.
Gerçek Dünya Uygulaması
Pile veri seti dünya çapındaki araştırmacılar tarafından açık dil modellerini tekrarlanabilir şekilde eğitmek ve incelemek için kullanılıyor.
GPT-J-6B ve GPT-NeoX-20B, ticari API modellerine ücretsiz alternatifler olarak startuplar ve akademisyenler tarafından kullanılıyor.
LM Değerlendirme Donanımı, birçok laboratuvarın yüzlerce görevde model performansını kıyaslamak için kullandığı standart araçtır.
Bağımsız güvenlik ve yorumlanabilirlik araştırmacıları, kapalı API'lerin gizlediği model dahili bileşenleri incelemek için EleutherAI'nin açık ağırlıklarını kullanıyor.
Riskler ve Korkuluklar
Lansman duyuruları, gerçek üretim iş akışlarında istikrarın önüne geçebilir.
API fiyatlandırması veya politika değişiklikleri, varsayımları bir gecede boşa çıkarabilir.
Tek satıcıya bağımlılık, bağlılık ve geçiş maliyetlerini artırır.
Uygulama Yol Haritası
Sağlayıcıları kendi görevlerinizi ve veri kümelerinizi kullanarak değerlendirin.
Entegrasyondan önce gizlilik, güvenlik ve yasal şartları inceleyin.
Modeller veya satıcılar arasında bir geri dönüş planı sürdürün.
Yol haritası değişikliklerinin ekipleri şaşırtmaması için sürüm notlarını izleyin.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the EleutherAI quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Ağırlıklar ve Önyargılar
Sık sorulan sorular
What is EleutherAI?
EleutherAI, yapay zekanın kurumsal duvarların arkasına kilitlendiği dönemde açık kaynaklı büyük dil modellerine öncülük eden, kar amacı gütmeyen, tabandan gelen bir araştırma topluluğudur. Gönüllü bir topluluğun, kapalı sistemlere rakip modeller oluşturup özgürce yayınlayabileceğini ve yapay zeka araştırmalarına kimlerin katılacağını yeniden şekillendirebileceğini kanıtladı.
EleutherAI 2020'de ilk olarak nasıl başladı?
EleutherAI, o zamanlar kapalı olan GPT-3'ü kopyalamak için organize edilen gönüllülerden oluşan resmi olmayan bir Discord topluluğu olarak başladı.
'Yığın' nedir?
The Pile, dil modellerini eğitmek ve incelemek için oluşturulmuş geniş, çeşitli ve herkese açık bir metin külliyatı EleutherAI'dir.
Bunlardan hangisi EleutherAI dil modelidir?
GPT-NeoX-20B, EleutherAI'nin amiral gemisi açık modellerinden biridir; diğerleri Google veya Meta'den geliyor.
LM Değerlendirme Donanımı ne için kullanılır?
Koşum, dil modellerinin yüzlerce kıyaslamayla standartlaştırılmış değerlendirmesi için yaygın olarak benimsenen açık bir araçtır.
EleutherAI, büyük modelleri erkenden eğitmek için gereken hesaplamayı nasıl elde etti?
Kurumsal bir veri merkezine sahip olmayan EleutherAI, modellerini eğitmek için sponsorların bağışladığı TPU ve GPU kaynaklarına güvendi.