SıradakiSonraki rehber
LAION ve Açık Veri Kümeleri
Şirketler
Şirketler KILAVUZU
ServiceNow ve StarCoder
The original StarCoder models were developed by the BigCode collaboration, co-led by ServiceNow Research and Hugging Face.
Bu kılavuzu dinleyinAI tarafından anlatılan · ~2 min
Bu sayfada2 dakika okuma
Genel Bakış
Their paper documents training data and model capabilities, while the OpenRAIL-M license permits use subject to stated restrictions.
Derin Dalış
The 2023 BigCode paper introduced StarCoderBase and StarCoder as 15.5-billion-parameter code models with an 8,000-token context. StarCoderBase was pretrained on about one trillion tokens from The Stack, and StarCoder was produced by further fine-tuning StarCoderBase on 35 billion Python tokens. The paper describes fill-in-the-middle training, multi-query attention, data documentation, opt-out mechanisms, and release under BigCode’s OpenRAIL-M license. StarCoder2 is a later, separate model family introduced in 2024.
Gerçek Dünya Uygulaması
IDE eklentileri ve düzenleyici uzantılarında otomatik tamamlama ve kod tamamlama önerilerini destekleme
Doğal dildeki bir yorumdan ortak metin işlevleri, birim testleri ve belge dizeleri oluşturma
Kurumsal kod tabanındaki programlama dilleri arasında kodu çevirme veya yeniden düzenleme
Kapalı bulut API'lerine özel kod gönderemeyen kuruluşlar için kendi kendine barındırılabilen bir kodlama asistanı olarak hizmet verme
ServiceNow ve StarCoder'ın Geleceği
Kod modelleri, yalnızca otomatik tamamlamanın yanı sıra planladıkları, testleri çalıştırdıkları ve kendi çıktılarını düzelttikleri aracılı iş akışlarına doğru ilerliyor. Software Heritage ile oluşturulan daha büyük Stack v2 veri kümesi üzerinde eğitilen StarCoder2, daha geniş dil kapsamına ve daha iyi veri kaynağına işaret ediyor. Kod eğitimli modellerin yasal incelemesi arttıkça şeffaf eğitim verilerine, devre dışı bırakma mekanizmalarına ve lisanslamanın netliğine ve ayrıca kurumsal geliştirici platformlarına daha sıkı entegrasyona daha fazla önem verilmesini bekleyin.
Uygulamaya koymak
Neden önemli?
- Satıcı stratejisi. Satıcı yol haritaları, ekibinizin bundan sonra hangi özellikleri geliştirebileceğini etkiler.
- Maliyet ve bütçe. Ticari şartlar ve dağıtım seçenekleri uzun vadeli maliyet ve riski etkiler.
- Risk ve güvenlik. Şirket teşvikleri ürün temerrütlerini, güvenlik duruşunu ve açıklığı şekillendirir.
Dikkat edin
- Lansman duyuruları, gerçek üretim iş akışlarında istikrarın önüne geçebilir.
- API fiyatlandırması veya politika değişiklikleri, varsayımları bir gecede boşa çıkarabilir.
- Tek satıcıya bağımlılık, bağlılık ve geçiş maliyetlerini artırır.
Sonraki adımlar
- Sağlayıcıları kendi görevlerinizi ve veri kümelerinizi kullanarak değerlendirin.
- Entegrasyondan önce gizlilik, güvenlik ve yasal şartları inceleyin.
- Modeller veya satıcılar arasında bir geri dönüş planı sürdürün.
- Yol haritası değişikliklerinin ekipleri şaşırtmaması için sürüm notlarını izleyin.
Keşfetmeye Devam Edin
Ücretsiz bülten
Günlük AI brifingini alın
Hafta içi her sabah sade İngilizce yazılmış, doğrulanmış üç yapay zeka hikayesi. Sonsuza kadar ücretsiz, reklam yok.
Hafta içi her gün bir e-posta. Tek tıklamayla aboneliğinizi iptal edin. Adresinizi asla satmayız veya paylaşmayız.
Kendinizi test edin
Take the ServiceNow and StarCoder quiz
Her yanıtla ilgili anında geri bildirim ve bir kursu geçtiğinizde doğrulanabilir bir kimliğe sahip paylaşılabilir bir sertifika.
Ücretsiz AI eğitimini destekleyin. AI Understanding, bir 501(c)(3) kâr amacı gütmeyen kuruluştur; hiçbir zaman reklam yoktur, ödeme duvarı yoktur. Bağış yap
Sık sorulan sorular
ServiceNow ve StarCoder nedir?
The original StarCoder models were developed by the BigCode collaboration, co-led by ServiceNow Research and Hugging Face. Their paper documents training data and model capabilities, while the OpenRAIL-M license permits use subject to stated restrictions.
StarCoder'ı üreten BigCode projesine hangi iki kuruluş ortak liderlik etti?
BigCode, ServiceNow Research ve Hugging Face'in açık, sorumlu bir şekilde geliştirilmiş kod modelleri oluşturmak için ortaklaşa yürüttüğü ortak bir çalışmaydı.
Which dataset was used for StarCoderBase pretraining?
StarCoderBase was pretrained on The Stack, a large collection of permissively licensed source code.
Hangi eğitim tekniği StarCoder'ın imlecin her iki tarafındaki bağlamı kullanarak kodu tamamlamasına olanak tanır?
Ortayı Doldur eğitimi, modelin önceki ve sonraki bağlamda verilen eksik bir yayılmayı oluşturmayı öğrenmesi için belgeleri yeniden sıralar.
Amiral gemisi StarCoderBase modeli kabaca ne kadar büyük?
StarCoderBase'in yaklaşık 15,5 milyar parametresi vardır; sınır standartlarına göre mütevazı ancak kod görevlerindeki boyutuna göre güçlüdür.
StarCoder belleği azaltmak ve çıkarımı hızlandırmak için hangi dikkat optimizasyonunu kullanıyor?
StarCoder, hafızayı azaltmak ve uzun bağlam çıkarımını hızlandırmak için çoklu sorgu dikkatini kullanır, anahtar ve değer projeksiyonlarını kafalar arasında paylaşır.
Öğrenmeye devam et
İlgili kılavuzlar
Bu konu için daha fazla rehber seçildi