ServiceNow și StarCoder
StarCoder este un model de limbă mare deschis pentru cod, construit de ServiceNow Research și Hugging Face prin proiectul BigCode.
Prezentare generală
It matters because it brought a permissively licensed, transparently trained coding assistant to a field dominated by closed models.
Scufundare în profunzime
StarCoder este o familie de modele de generare de cod lansată în mai 2023 de BigCode, o colaborare condusă de ServiceNow Research și Hugging Face. StarCoderBase este un model de 15,5 miliarde de parametri antrenat pe aproximativ un trilion de jetoane extrase din The Stack, un set mare de date de cod sursă permisiv, care acoperă peste 80 de limbaje de programare. O caracteristică cheie distinctivă este fereastra de context de 8.000 de jetoane și antrenamentul Fill-in-the-Middle, permițându-i să completeze codul dat atât liniile precedente, cât și cele următoare, mai degrabă decât să prezică doar înainte. BigCode a subliniat guvernarea datelor: a publicat datele de instruire, a oferit un instrument de renunțare pentru dezvoltatori și a lansat modelul sub licența responsabilă OpenRAIL-M. StarCoder2, lansat în 2024, a extins acoperirea la peste 600 de limbi.
Perspectivă tehnică
StarCoder folosește un transformator numai pentru decodor, cu atenție multi-interogare, care partajează proiecțiile cheie și valorii în capetele de atenție pentru a micșora utilizarea memoriei și pentru a accelera inferența la lungimi mari de context. A fost antrenat cu Fill-in-the-Middle, unde documentele sunt împărțite și reordonate aleatoriu, astfel încât modelul să învețe să genereze un interval lipsă condiționat de codul din jur. Acest lucru îl face foarte potrivit pentru completarea automată IDE, unde contextul există de ambele părți ale cursorului.
Impact strategic
Strategia furnizorului
Foile de parcurs ale furnizorilor influențează caracteristicile pe care echipa ta le poate construi în continuare.
Cost și buget
Condițiile comerciale și opțiunile de implementare afectează costurile și riscurile pe termen lung.
Risc și siguranță
Stimulentele companiei modelează valorile implicite ale produselor, postura de siguranță și deschiderea.
Viitorul ServiceNow și StarCoder
Modelele de cod se îndreaptă către fluxuri de lucru agentice în care nu numai că completează automat, ci și planifică, rulează teste și își repară propriile rezultate. StarCoder2, instruit pe setul de date mai mare Stack v2 construit cu Software Heritage, indică o acoperire mai largă a limbii și o proveniență mai bună a datelor. Așteptați-vă la un accent continuu pe datele de instruire transparente, mecanismele de renunțare și claritatea licențelor, pe măsură ce controlul juridic al modelelor antrenate în cod crește, plus o integrare mai strânsă în platformele pentru dezvoltatori de întreprinderi.
Implementare în lumea reală
Alimentarea sugestiilor de completare automată și de completare a codului în interiorul pluginurilor IDE și al extensiilor de editor
Generarea de funcții standard, teste unitare și documente dintr-un comentariu în limbaj natural
Traducerea sau refactorizarea codului între limbaje de programare într-o bază de cod de întreprindere
Servind ca asistent de codare găzduit de sine stătător pentru organizațiile care nu pot trimite cod proprietar către API-urile cloud închise
Riscuri și balustrade
Anunțurile de lansare pot depăși stabilitatea în fluxurile de producție reale.
Prețurile API sau schimbările de politică pot rupe ipoteze peste noapte.
Dependența de un singur furnizor crește costurile de blocare și migrare.
Foaia de parcurs de implementare
Evaluați furnizorii folosind propriile sarcini și seturi de date.
Examinați confidențialitatea, securitatea și condițiile legale înainte de integrare.
Mențineți un plan alternativ pentru modele sau furnizori.
Monitorizați notele de lansare, astfel încât modificările foii de parcurs să nu surprindă echipele.
Continuați să explorați
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ServiceNow and StarCoder quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Următorul ghid
LAION și seturi de date deschise
Întrebări frecvente
What is ServiceNow and StarCoder?
StarCoder este un model de limbă mare deschis pentru cod, construit de ServiceNow Research și Hugging Face prin proiectul BigCode. Contează pentru că a adus un asistent de codificare autorizat permisiv, instruit în mod transparent într-un domeniu dominat de modele închise.
Care două organizații au co-condus proiectul BigCode care a produs StarCoder?
BigCode a fost un efort de colaborare coordonat de ServiceNow Research și Hugging Face pentru a construi modele de cod deschise și dezvoltate în mod responsabil.
Care este numele setului de date de cod sursă autorizat permisiv folosit pentru a antrena StarCoder?
StarCoder a fost instruit pe The Stack, un corp mare de cod licențiat permisiv în peste 80 de limbi.
Ce tehnică de antrenament îi permite StarCoder să completeze codul folosind contextul de pe ambele părți ale cursorului?
Formarea Fill-in-the-Middle reordonează documentele, astfel încât modelul să învețe să genereze un interval lipsă, dat fiind contextul precedent și următor.
Aproximativ cât de mare este modelul emblematic StarCoderBase?
StarCoderBase are aproximativ 15,5 miliarde de parametri, modesti la standardele de frontieră, dar puternici pentru dimensiunea sa în sarcinile de cod.
Ce optimizare a atenției folosește StarCoder pentru a reduce memoria și a accelera inferența?
StarCoder folosește atenția cu mai multe interogări, partajând proiecțiile cheie și valorii peste cap pentru a reduce memoria și a accelera inferența pe context lung.