SelanjutnyaPanduan berikutnya
LAION dan Kumpulan Data Terbuka
Perusahaan
PANDUAN Perusahaan
ServiceNow dan StarCoder
The original StarCoder models were developed by the BigCode collaboration, co-led by ServiceNow Research and Hugging Face.
Dengarkan panduan iniDiceritakan oleh AI · ~2 min
Di halaman ini2 menit membaca
Ikhtisar
Their paper documents training data and model capabilities, while the OpenRAIL-M license permits use subject to stated restrictions.
Menyelam Lebih Dalam
The 2023 BigCode paper introduced StarCoderBase and StarCoder as 15.5-billion-parameter code models with an 8,000-token context. StarCoderBase was pretrained on about one trillion tokens from The Stack, and StarCoder was produced by further fine-tuning StarCoderBase on 35 billion Python tokens. The paper describes fill-in-the-middle training, multi-query attention, data documentation, opt-out mechanisms, and release under BigCode’s OpenRAIL-M license. StarCoder2 is a later, separate model family introduced in 2024.
Implementasi Dunia Nyata
Mendukung saran pelengkapan otomatis dan penyelesaian kode di dalam plugin IDE dan ekstensi editor
Menghasilkan fungsi boilerplate, pengujian unit, dan dokumen dari komentar bahasa alami
Menerjemahkan atau memfaktorkan ulang kode antar bahasa pemrograman dalam basis kode perusahaan
Berfungsi sebagai asisten pengkodean yang dapat dihosting sendiri untuk organisasi yang tidak dapat mengirimkan kode kepemilikan ke API cloud tertutup
Masa Depan ServiceNow dan StarCoder
Model kode beralih ke alur kerja agen yang tidak hanya melengkapi secara otomatis tetapi juga merencanakan, menjalankan pengujian, dan memperbaiki keluarannya sendiri. StarCoder2, yang dilatih pada kumpulan data Stack v2 yang lebih besar yang dibuat dengan Software Heritage, mengarah pada cakupan bahasa yang lebih luas dan asal data yang lebih baik. Harapkan penekanan yang berkelanjutan pada data pelatihan yang transparan, mekanisme opt-out, dan kejelasan perizinan seiring dengan berkembangnya pengawasan hukum terhadap model yang dilatih kode, ditambah integrasi yang lebih erat ke dalam platform pengembang perusahaan.
Mempraktikkannya
Mengapa itu penting
- Strategi vendor. Peta jalan vendor memengaruhi fitur apa yang dapat dibangun tim Anda selanjutnya.
- Biaya dan anggaran. Persyaratan komersial dan opsi penerapan memengaruhi biaya dan risiko jangka panjang.
- Risiko dan keselamatan. Insentif perusahaan membentuk standar produk, postur keselamatan, dan keterbukaan.
Hati-hati
- Pengumuman peluncuran mungkin melampaui stabilitas alur kerja produksi sebenarnya.
- Penetapan harga API atau perubahan kebijakan dapat mematahkan asumsi dalam sekejap.
- Ketergantungan pada vendor tunggal meningkatkan biaya lock-in dan migrasi.
Langkah selanjutnya
- Evaluasi penyedia menggunakan tugas dan kumpulan data Anda sendiri.
- Tinjau persyaratan privasi, keamanan, dan hukum sebelum integrasi.
- Pertahankan rencana cadangan di seluruh model atau vendor.
- Pantau catatan rilis agar perubahan peta jalan tidak mengejutkan tim.
Terus Menjelajah
Buletin gratis
Dapatkan pengarahan AI harian
Tiga cerita AI terverifikasi setiap pagi hari kerja, ditulis dalam bahasa Inggris sederhana. Gratis selamanya, tanpa iklan.
Satu email setiap hari kerja. Berhenti berlangganan dalam satu klik. Kami tidak pernah menjual atau membagikan alamat Anda.
Uji diri Anda sendiri
Take the ServiceNow and StarCoder quiz
Umpan balik instan untuk setiap jawaban, dan sertifikat yang dapat dibagikan dengan ID yang dapat diverifikasi setelah Anda lulus kursus.
Mendukung pendidikan AI gratis. AI Understanding adalah organisasi nirlaba 501(c)(3) — tanpa iklan, tanpa paywall, selamanya. Berikan sumbangan
Pertanyaan yang sering diajukan
What is ServiceNow and StarCoder?
The original StarCoder models were developed by the BigCode collaboration, co-led by ServiceNow Research and Hugging Face. Their paper documents training data and model capabilities, while the OpenRAIL-M license permits use subject to stated restrictions.
Manakah dua organisasi yang ikut memimpin proyek BigCode yang memproduksi StarCoder?
BigCode adalah upaya kolaboratif yang dipimpin oleh ServiceNow Research dan Hugging Face untuk membangun model kode yang terbuka dan dikembangkan secara bertanggung jawab.
Which dataset was used for StarCoderBase pretraining?
StarCoderBase was pretrained on The Stack, a large collection of permissively licensed source code.
Teknik pelatihan apa yang memungkinkan StarCoder menyelesaikan kode menggunakan konteks di kedua sisi kursor?
Pelatihan Fill-in-the-Middle menyusun ulang dokumen sehingga model belajar menghasilkan rentang yang hilang berdasarkan konteks sebelum dan sesudahnya.
Kira-kira seberapa besar model andalan StarCoderBase?
StarCoderBase memiliki sekitar 15,5 miliar parameter, sederhana menurut standar terdepan namun kuat untuk ukurannya dalam tugas kode.
Pengoptimalan perhatian manakah yang digunakan StarCoder untuk mengurangi memori dan mempercepat inferensi?
StarCoder menggunakan perhatian multi-kueri, berbagi proyeksi kunci dan nilai di seluruh kepala untuk mengurangi memori dan mempercepat inferensi konteks panjang.
Teruslah belajar
Panduan terkait
Panduan lainnya dipilih untuk topik ini