BigScience ve BLOOM Modeli
BigScience, gerçek anlamda çok dilli, açıkça yayınlanan ilk büyük dil modellerinden biri olan BLOOM'u üreten, 1.000'den fazla araştırmacının bir yıl süren açık araştırma işbirliğiydi.
Genel Bakış
It matters as a landmark in transparent, community-driven AI built outside Big Tech.
Derin Dalış
BigScience, Hugging Face tarafından koordine edilen ve 60'tan fazla ülke ve 250 kurumdan 1.000'den fazla gönüllü araştırmacıyı bir araya getiren, 2021'den 2022'ye kadar süren bir yıllık bir araştırma çalıştayıydı. Temmuz 2022'de yayınlanan manşet çıktısı, 176 milyar parametreli otoregresif dil modeli olan BLOOM'du. BLOOM kasıtlı olarak çok dilliydi, 46 doğal dili ve 13 programlama dilini kapsayan ve çeşitli Afrika ve Güney Asya dilleri gibi yeterince temsil edilmeyen dilleri güçlü bir şekilde temsil eden ROOTS külliyatı üzerinde eğitilmişti. Eğitim, Fransa'da kamu tarafından finanse edilen Jean Zay süper bilgisayarında yaklaşık 384 GPU kullanılarak birkaç ay sürdü. BLOOM, verilerinin, eğitiminin ve amaçlanan kullanımlarının tam belgelenmesiyle Sorumlu Yapay Zeka Lisansı altında piyasaya sürüldü; bu durum, karşılaştırılabilir modellerin kapalı geliştirmesiyle keskin bir tezat oluşturuyor.
Teknik Bilgi
BLOOM, öğrenilen konum vektörleri yerine ALiBi konumsal yerleştirmeleri kullanan ve eğitimde görülenden daha uzun dizilere tahminde bulunmasına yardımcı olan, GPT-3'e benzer ölçekte, yalnızca kod çözücüye yönelik bir transformatördür. Ayrıca, eğitim stabilitesini geniş ölçekte iyileştiren bir yerleştirme katmanı normalleştirmesi de uygular. Çok dilli ROOTS külliyatı, dil karışımı ve veri kaynaklarının şeffaf ve denetlenebilir olması için dikkatlice bir araya getirildi ve belgelendi; bu, opak kazınmış veri kümelerinden kasıtlı bir sapmaydı.
Stratejik Etki
Vendor strategy
Satıcı yol haritaları, ekibinizin bundan sonra hangi özellikleri geliştirebileceğini etkiler.
Maliyet ve bütçe
Ticari şartlar ve dağıtım seçenekleri uzun vadeli maliyet ve riski etkiler.
Risk and safety
Şirket teşvikleri ürün temerrütlerini, güvenlik duruşunu ve açıklığı şekillendirir.
BigScience'ın Geleceği ve BLOOM Modeli
BigScience, büyük ölçekli, açık bir şekilde yönetilen yapay zekanın mümkün olduğunu gösterdi ve modeli, daha sonraki açık sürümleri ve şeffaflığa yönelik daha geniş baskıyı etkiledi. Gelecekteki çok dilli çalışmalar muhtemelen veri dokümantasyonu ve kapsayıcı dil kapsamı konularındaki derslere dayanacak ve daha yeni, daha verimli modeller ham yetenek açısından BLOOM'u geride bırakacaktır. Kalıcı mirası, model kartları, veri bildirimleri ve sorumlu lisansların yayınlanması normunun yanı sıra genel bilişimin sınır ölçekli modelleri eğitebileceğinin kanıtıdır.
Gerçek Dünya Uygulaması
Ticari modellerin yetersiz hizmet verdiği diller de dahil olmak üzere düzinelerce dilde metin oluşturma ve tamamlama
Önyargı, çok dilli aktarım ve ölçeklendirme davranışını incelemek için açık bir araştırma temeli olarak hizmet etmek
İngilizce dışındaki topluluklar için BLOOMZ gibi göreve özgü veya talimatları takip eden değişkenlere ince ayar yapma
Eğitim verilerinin kaynağı ve sorumlu yapay zeka lisanslaması üzerinde çalışan akademisyenler için tamamen belgelenmiş bir model sağlamak
Riskler ve Korkuluklar
Lansman duyuruları, gerçek üretim iş akışlarında istikrarın önüne geçebilir.
API fiyatlandırması veya politika değişiklikleri, varsayımları bir gecede boşa çıkarabilir.
Tek satıcıya bağımlılık, bağlılık ve geçiş maliyetlerini artırır.
Uygulama Yol Haritası
Sağlayıcıları kendi görevlerinizi ve veri kümelerinizi kullanarak değerlendirin.
Entegrasyondan önce gizlilik, güvenlik ve yasal şartları inceleyin.
Modeller veya satıcılar arasında bir geri dönüş planı sürdürün.
Yol haritası değişikliklerinin ekipleri şaşırtmaması için sürüm notlarını izleyin.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the BigScience and the BLOOM Model quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Magic AI Uzun Bağlamlı Kod Modelleri
Sık sorulan sorular
What is BigScience and the BLOOM Model?
BigScience, gerçek anlamda çok dilli, açıkça yayınlanan ilk büyük dil modellerinden biri olan BLOOM'u üreten, 1.000'den fazla araştırmacının bir yıl süren açık araştırma işbirliğiydi. Büyük Teknolojinin dışında oluşturulan şeffaf, topluluk odaklı yapay zekada bir dönüm noktası olarak önemlidir.
Zamanının benzer boyutlu modelleriyle karşılaştırıldığında BLOOM modelinin temel ayırt edici amacı neydi?
BLOOM, gerçekten çok dilli olacak şekilde tasarlandı ve karşılaştırılabilir ölçekteki kapalı modellerin aksine, tam belgelerle birlikte açık bir şekilde yayınlandı.
BLOOM'un yaklaşık olarak kaç parametresi vardır?
BLOOM, 176 milyar parametreli bir modeldir ve onu GPT-3 ile benzer ölçeğe yerleştirir.
BLOOM kaç doğal dili işlemek üzere eğitildi?
BLOOM'un ROOTS eğitim külliyatı 46 doğal dili ve 13 programlama dilini kapsıyordu.
BigScience işbirliğini hangi kuruluş koordine etti?
Hugging Face, 1000'den fazla gönüllü araştırmacının yer aldığı BigScience çalıştayını koordine etti.
BLOOM nerede eğitildi?
BLOOM, Fransa'daki Jean Zay süper bilgisayarı üzerinde eğitildi ve bu, halka açık bilişimin sınır ölçeğinde bir modeli eğitebileceğini gösterdi.