SeterusnyaPanduan seterusnya
LAION dan Set Data Terbuka
Syarikat
PANDUAN Syarikat
ServiceNow dan StarCoder
The original StarCoder models were developed by the BigCode collaboration, co-led by ServiceNow Research and Hugging Face.
Dengar panduan iniAI-diceritakan · ~2 min
Pada halaman ini2 min dibaca
Gambaran keseluruhan
Their paper documents training data and model capabilities, while the OpenRAIL-M license permits use subject to stated restrictions.
Menyelam dalam
The 2023 BigCode paper introduced StarCoderBase and StarCoder as 15.5-billion-parameter code models with an 8,000-token context. StarCoderBase was pretrained on about one trillion tokens from The Stack, and StarCoder was produced by further fine-tuning StarCoderBase on 35 billion Python tokens. The paper describes fill-in-the-middle training, multi-query attention, data documentation, opt-out mechanisms, and release under BigCode’s OpenRAIL-M license. StarCoder2 is a later, separate model family introduced in 2024.
Pelaksanaan Dunia Sebenar
Menguasakan cadangan autolengkap dan pelengkapan kod dalam pemalam IDE dan sambungan editor
Menjana fungsi boilerplate, ujian unit dan docstrings daripada ulasan bahasa semula jadi
Menterjemah atau memfaktorkan semula kod antara bahasa pengaturcaraan dalam pangkalan kod perusahaan
Berkhidmat sebagai pembantu pengekodan yang boleh dihoskan sendiri untuk organisasi yang tidak boleh menghantar kod proprietari kepada API awan tertutup
Masa Depan ServiceNow dan StarCoder
Model kod sedang bergerak ke arah aliran kerja agenik di mana ia bukan sahaja autolengkap tetapi merancang, menjalankan ujian dan membetulkan outputnya sendiri. StarCoder2, dilatih pada set data Stack v2 yang lebih besar yang dibina dengan Warisan Perisian, menunjuk ke arah liputan bahasa yang lebih luas dan asal data yang lebih baik. Jangkakan penekanan berterusan pada data latihan yang telus, mekanisme menarik diri dan kejelasan pelesenan apabila penelitian undang-undang terhadap model terlatih kod berkembang, serta penyepaduan yang lebih ketat ke dalam platform pembangun perusahaan.
Mempraktikkannya
Mengapa ia penting
- Strategi vendor. Peta jalan vendor mempengaruhi ciri yang boleh dibina oleh pasukan anda seterusnya.
- Kos dan bajet. Terma komersial dan pilihan penggunaan mempengaruhi kos dan risiko jangka panjang.
- Risiko dan keselamatan. Insentif syarikat membentuk keingkaran produk, postur keselamatan dan keterbukaan.
Berhati-hati untuk
- Pengumuman pelancaran mungkin melebihi kestabilan dalam aliran kerja pengeluaran sebenar.
- Harga API atau anjakan dasar boleh memecahkan andaian semalaman.
- Kebergantungan vendor tunggal meningkatkan kos kunci masuk dan penghijrahan.
Langkah seterusnya
- Nilai penyedia menggunakan tugasan dan set data anda sendiri.
- Semak privasi, keselamatan dan syarat undang-undang sebelum penyepaduan.
- Kekalkan pelan sandaran merentas model atau vendor.
- Pantau nota keluaran supaya perubahan peta jalan tidak mengejutkan pasukan.
Teruskan Meneroka
Newsletter percuma
Dapatkan taklimat AI harian
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Take the ServiceNow and StarCoder quiz
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Soalan lazim
Apakah ServiceNow dan StarCoder?
The original StarCoder models were developed by the BigCode collaboration, co-led by ServiceNow Research and Hugging Face. Their paper documents training data and model capabilities, while the OpenRAIL-M license permits use subject to stated restrictions.
Dua organisasi manakah yang mengetuai projek BigCode yang menghasilkan StarCoder?
BigCode ialah usaha kerjasama yang diketuai bersama oleh ServiceNow Research dan Hugging Face untuk membina model kod yang dibangunkan secara terbuka dan bertanggungjawab.
Which dataset was used for StarCoderBase pretraining?
StarCoderBase was pretrained on The Stack, a large collection of permissively licensed source code.
Apakah teknik latihan yang membolehkan StarCoder melengkapkan kod menggunakan konteks pada kedua-dua belah kursor?
Latihan Isi-dalam-Tengah menyusun semula dokumen supaya model belajar menjana rentang yang hilang berdasarkan konteks sebelum dan seterusnya.
Secara kasar berapa besar model StarCoderBase utama?
StarCoderBase mempunyai kira-kira 15.5 bilion parameter, sederhana mengikut piawaian sempadan tetapi kukuh untuk saiznya pada tugas kod.
Pengoptimuman perhatian manakah yang digunakan oleh StarCoder untuk mengurangkan memori dan mempercepatkan inferens?
StarCoder menggunakan perhatian berbilang pertanyaan, perkongsian kunci dan unjuran nilai merentas kepala untuk memotong memori dan mempercepatkan inferens konteks panjang.
Teruskan belajar
Panduan berkaitan
Lebih banyak panduan dipilih untuk topik ini