ServiceNow dan StarCoder
StarCoder adalah model bahasa terbuka dan besar untuk kode, dibangun oleh ServiceNow Research dan Hugging Face melalui proyek BigCode.
Ikhtisar
It matters because it brought a permissively licensed, transparently trained coding assistant to a field dominated by closed models.
Menyelam Lebih Dalam
StarCoder adalah rangkaian model pembuatan kode yang dirilis pada Mei 2023 oleh BigCode, sebuah kolaborasi yang dipimpin bersama oleh ServiceNow Research dan Hugging Face. StarCoderBase andalan adalah model dengan 15,5 miliar parameter yang dilatih pada sekitar satu triliun token yang diambil dari The Stack, kumpulan data besar kode sumber berlisensi permisif yang mencakup lebih dari 80 bahasa pemrograman. Fitur pembeda utamanya adalah jendela konteks 8.000 token dan pelatihan Fill-in-the-Middle, yang memungkinkannya menyelesaikan kode yang diberikan pada baris sebelum dan sesudahnya, bukan hanya memprediksi ke depan. BigCode menekankan tata kelola data: BigCode menerbitkan data pelatihan, menawarkan alat opt-out untuk pengembang, dan merilis model di bawah lisensi OpenRAIL-M yang bertanggung jawab. StarCoder2, dirilis pada tahun 2024, memperluas cakupan ke lebih dari 600 bahasa.
Wawasan Teknis
StarCoder menggunakan transformator khusus dekoder dengan perhatian multi-kueri, yang membagikan proyeksi kunci dan nilai di seluruh kepala perhatian untuk mengurangi penggunaan memori dan mempercepat inferensi dalam konteks yang panjang. Model tersebut dilatih dengan Fill-in-the-Middle, di mana dokumen dipecah dan disusun ulang secara acak sehingga model belajar menghasilkan rentang yang hilang yang dikondisikan pada kode di sekitarnya. Hal ini membuatnya cocok untuk pelengkapan otomatis IDE, di mana konteks ada di kedua sisi kursor.
Dampak Strategis
Vendor strategy
Peta jalan vendor memengaruhi fitur apa yang dapat dibangun tim Anda selanjutnya.
Cost and budget
Persyaratan komersial dan opsi penerapan memengaruhi biaya dan risiko jangka panjang.
Risk and safety
Insentif perusahaan membentuk standar produk, postur keselamatan, dan keterbukaan.
Masa Depan ServiceNow dan StarCoder
Model kode beralih ke alur kerja agen yang tidak hanya melengkapi secara otomatis tetapi juga merencanakan, menjalankan pengujian, dan memperbaiki keluarannya sendiri. StarCoder2, yang dilatih pada kumpulan data Stack v2 yang lebih besar yang dibuat dengan Software Heritage, mengarah pada cakupan bahasa yang lebih luas dan asal data yang lebih baik. Harapkan penekanan yang berkelanjutan pada data pelatihan yang transparan, mekanisme opt-out, dan kejelasan perizinan seiring dengan berkembangnya pengawasan hukum terhadap model yang dilatih kode, ditambah integrasi yang lebih erat ke dalam platform pengembang perusahaan.
Implementasi Dunia Nyata
Mendukung saran pelengkapan otomatis dan penyelesaian kode di dalam plugin IDE dan ekstensi editor
Menghasilkan fungsi boilerplate, pengujian unit, dan dokumen dari komentar bahasa alami
Menerjemahkan atau memfaktorkan ulang kode antar bahasa pemrograman dalam basis kode perusahaan
Berfungsi sebagai asisten pengkodean yang dapat dihosting sendiri untuk organisasi yang tidak dapat mengirimkan kode kepemilikan ke API cloud tertutup
Risiko & Pagar Pembatas
Pengumuman peluncuran mungkin melampaui stabilitas alur kerja produksi sebenarnya.
Penetapan harga API atau perubahan kebijakan dapat mematahkan asumsi dalam sekejap.
Ketergantungan pada vendor tunggal meningkatkan biaya lock-in dan migrasi.
Peta Jalan Implementasi
Evaluasi penyedia menggunakan tugas dan kumpulan data Anda sendiri.
Tinjau persyaratan privasi, keamanan, dan hukum sebelum integrasi.
Pertahankan rencana cadangan di seluruh model atau vendor.
Pantau catatan rilis agar perubahan peta jalan tidak mengejutkan tim.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ServiceNow and StarCoder quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
LAION dan Kumpulan Data Terbuka
Pertanyaan yang sering diajukan
What is ServiceNow and StarCoder?
StarCoder adalah model bahasa terbuka dan besar untuk kode, dibangun oleh ServiceNow Research dan Hugging Face melalui proyek BigCode. Hal ini penting karena hal ini membawa asisten pengkodean yang berlisensi dan terlatih secara transparan ke bidang yang didominasi oleh model tertutup.
Manakah dua organisasi yang ikut memimpin proyek BigCode yang memproduksi StarCoder?
BigCode adalah upaya kolaboratif yang dipimpin oleh ServiceNow Research dan Hugging Face untuk membangun model kode yang terbuka dan dikembangkan secara bertanggung jawab.
Apa nama kumpulan data kode sumber berlisensi permisif yang digunakan untuk melatih StarCoder?
StarCoder dilatih di The Stack, kumpulan besar kode berlisensi permisif dalam lebih dari 80 bahasa.
Teknik pelatihan apa yang memungkinkan StarCoder menyelesaikan kode menggunakan konteks di kedua sisi kursor?
Pelatihan Fill-in-the-Middle menyusun ulang dokumen sehingga model belajar menghasilkan rentang yang hilang berdasarkan konteks sebelum dan sesudahnya.
Kira-kira seberapa besar model andalan StarCoderBase?
StarCoderBase memiliki sekitar 15,5 miliar parameter, sederhana menurut standar terdepan namun kuat untuk ukurannya dalam tugas kode.
Pengoptimalan perhatian manakah yang digunakan StarCoder untuk mengurangi memori dan mempercepat inferensi?
StarCoder menggunakan perhatian multi-kueri, berbagi proyeksi kunci dan nilai di seluruh kepala untuk mengurangi memori dan mempercepat inferensi konteks panjang.