ServiceNow ve StarCoder
StarCoder, ServiceNow Research ve Hugging Face tarafından BigCode projesi aracılığıyla oluşturulan, kod için açık, geniş bir dil modelidir.
Genel Bakış
It matters because it brought a permissively licensed, transparently trained coding assistant to a field dominated by closed models.
Derin Dalış
StarCoder, ServiceNow Research ve Hugging Face'in ortak liderliğindeki bir iş birliği olan BigCode tarafından Mayıs 2023'te piyasaya sürülen bir kod oluşturma modelleri ailesidir. Amiral gemisi StarCoderBase, 80'den fazla programlama dilini kapsayan geniş bir izin verilen lisanslı kaynak kodu veri kümesi olan The Stack'tan alınan yaklaşık bir trilyon token üzerinde eğitilmiş 15,5 milyar parametreli bir modeldir. Önemli bir ayırt edici özelliği, 8.000 jetonlu bağlam penceresi ve Ortayı Doldur eğitimidir; bu, yalnızca ileriyi tahmin etmek yerine hem önceki hem de sonraki satırlarda verilen kodu tamamlamasına olanak tanır. BigCode veri yönetimini vurguladı: eğitim verilerini yayınladı, geliştiriciler için bir kapsam dışında kalma aracı sundu ve modeli sorumlu OpenRAIL-M lisansı altında yayınladı. 2024'te piyasaya sürülen StarCoder2, kapsama alanını 600'ün üzerinde dile genişletti.
Teknik Bilgi
StarCoder, bellek kullanımını azaltmak ve uzun bağlam uzunluklarında çıkarımı hızlandırmak için dikkat kafaları arasında anahtar ve değer projeksiyonlarını paylaşan, çoklu sorgu dikkatine sahip, yalnızca kod çözücüye yönelik bir transformatör kullanır. Belgelerin rastgele bölündüğü ve yeniden sıralandığı Ortadaki Doldurma ile eğitildi, böylece model, çevreleyen koda göre koşullandırılmış bir eksik aralık oluşturmayı öğreniyor. Bu, bağlamın imlecin her iki tarafında da bulunduğu IDE otomatik tamamlamaya çok uygun olmasını sağlar.
Stratejik Etki
Vendor strategy
Satıcı yol haritaları, ekibinizin bundan sonra hangi özellikleri geliştirebileceğini etkiler.
Maliyet ve bütçe
Ticari şartlar ve dağıtım seçenekleri uzun vadeli maliyet ve riski etkiler.
Risk and safety
Şirket teşvikleri ürün temerrütlerini, güvenlik duruşunu ve açıklığı şekillendirir.
ServiceNow ve StarCoder'ın Geleceği
Kod modelleri, yalnızca otomatik tamamlamanın yanı sıra planladıkları, testleri çalıştırdıkları ve kendi çıktılarını düzelttikleri aracılı iş akışlarına doğru ilerliyor. Software Heritage ile oluşturulan daha büyük Stack v2 veri kümesi üzerinde eğitilen StarCoder2, daha geniş dil kapsamına ve daha iyi veri kaynağına işaret ediyor. Kod eğitimli modellerin yasal incelemesi arttıkça şeffaf eğitim verilerine, devre dışı bırakma mekanizmalarına ve lisanslamanın netliğine ve ayrıca kurumsal geliştirici platformlarına daha sıkı entegrasyona daha fazla önem verilmesini bekleyin.
Gerçek Dünya Uygulaması
IDE eklentileri ve düzenleyici uzantılarında otomatik tamamlama ve kod tamamlama önerilerini destekleme
Doğal dildeki bir yorumdan ortak metin işlevleri, birim testleri ve belge dizeleri oluşturma
Kurumsal kod tabanındaki programlama dilleri arasında kodu çevirme veya yeniden düzenleme
Kapalı bulut API'lerine özel kod gönderemeyen kuruluşlar için kendi kendine barındırılabilen bir kodlama asistanı olarak hizmet verme
Riskler ve Korkuluklar
Lansman duyuruları, gerçek üretim iş akışlarında istikrarın önüne geçebilir.
API fiyatlandırması veya politika değişiklikleri, varsayımları bir gecede boşa çıkarabilir.
Tek satıcıya bağımlılık, bağlılık ve geçiş maliyetlerini artırır.
Uygulama Yol Haritası
Sağlayıcıları kendi görevlerinizi ve veri kümelerinizi kullanarak değerlendirin.
Entegrasyondan önce gizlilik, güvenlik ve yasal şartları inceleyin.
Modeller veya satıcılar arasında bir geri dönüş planı sürdürün.
Yol haritası değişikliklerinin ekipleri şaşırtmaması için sürüm notlarını izleyin.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ServiceNow and StarCoder quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
LAION ve Açık Veri Kümeleri
Sık sorulan sorular
What is ServiceNow and StarCoder?
StarCoder, ServiceNow Research ve Hugging Face tarafından BigCode projesi aracılığıyla oluşturulan, kod için açık, geniş bir dil modelidir. Bu önemli çünkü kapalı modellerin hakim olduğu bir alana izin veren lisansa sahip, şeffaf bir şekilde eğitilmiş bir kodlama asistanı getirdi.
StarCoder'ı üreten BigCode projesine hangi iki kuruluş ortak liderlik etti?
BigCode, ServiceNow Research ve Hugging Face'in açık, sorumlu bir şekilde geliştirilmiş kod modelleri oluşturmak için ortaklaşa yürüttüğü ortak bir çalışmaydı.
StarCoder'ı eğitmek için kullanılan, izin verilen lisansa sahip kaynak kodunun veri kümesinin adı nedir?
StarCoder, 80'den fazla dilde izin verilen lisanslı kodlardan oluşan geniş bir koleksiyon olan The Stack konusunda eğitim aldı.
Hangi eğitim tekniği StarCoder'ın imlecin her iki tarafındaki bağlamı kullanarak kodu tamamlamasına olanak tanır?
Ortayı Doldur eğitimi, modelin önceki ve sonraki bağlamda verilen eksik bir yayılmayı oluşturmayı öğrenmesi için belgeleri yeniden sıralar.
Amiral gemisi StarCoderBase modeli kabaca ne kadar büyük?
StarCoderBase'in yaklaşık 15,5 milyar parametresi vardır; sınır standartlarına göre mütevazı ancak kod görevlerindeki boyutuna göre güçlüdür.
StarCoder belleği azaltmak ve çıkarımı hızlandırmak için hangi dikkat optimizasyonunu kullanıyor?
StarCoder, hafızayı azaltmak ve uzun bağlam çıkarımını hızlandırmak için çoklu sorgu dikkatini kullanır, anahtar ve değer projeksiyonlarını kafalar arasında paylaşır.