ServiceNow e StarCoder
StarCoder è un modello linguistico aperto di grandi dimensioni per il codice, creato da ServiceNow Research e Hugging Face attraverso il progetto BigCode.
Panoramica
It matters because it brought a permissively licensed, transparently trained coding assistant to a field dominated by closed models.
Immersione profonda
StarCoder è una famiglia di modelli di generazione di codice rilasciata nel maggio 2023 da BigCode, una collaborazione guidata da ServiceNow Research e Hugging Face. L'ammiraglia StarCoderBase è un modello da 15,5 miliardi di parametri addestrato su circa un trilione di token estratti da The Stack, un ampio set di dati di codice sorgente con licenza permissiva che abbraccia più di 80 linguaggi di programmazione. Una caratteristica distintiva chiave è la finestra di contesto da 8.000 token e l'addestramento Fill-in-the-Middle, che gli consente di completare il codice in base alle righe precedenti e successive anziché limitarsi a prevedere in avanti. BigCode ha sottolineato la governance dei dati: ha pubblicato i dati di formazione, ha offerto uno strumento di opt-out per gli sviluppatori e ha rilasciato il modello con la licenza responsabile OpenRAIL-M. StarCoder2, rilasciato nel 2024, ha ampliato la copertura a oltre 600 lingue.
Approfondimento tecnico
StarCoder utilizza un trasformatore solo decodificatore con attenzione multi-query, che condivide proiezioni di chiavi e valori tra le teste di attenzione per ridurre l'uso della memoria e accelerare l'inferenza a contesti di lunga durata. È stato addestrato con Fill-in-the-Middle, in cui i documenti vengono divisi e riordinati in modo casuale in modo che il modello impari a generare un intervallo mancante condizionato dal codice circostante. Ciò lo rende particolarmente adatto al completamento automatico dell'IDE, dove il contesto esiste su entrambi i lati del cursore.
Impatto strategico
Strategia del fornitore
Le roadmap dei fornitori influenzano le funzionalità che il tuo team può sviluppare successivamente.
Costo e budget
I termini commerciali e le opzioni di implementazione influiscono sui costi e sui rischi a lungo termine.
Rischio e sicurezza
Gli incentivi aziendali modellano le impostazioni predefinite dei prodotti, la postura di sicurezza e l’apertura.
Il futuro di ServiceNow e StarCoder
I modelli di codice si stanno spostando verso flussi di lavoro ad agenti in cui non solo si completano automaticamente, ma pianificano, eseguono test e correggono il proprio output. StarCoder2, addestrato sul set di dati Stack v2 più ampio creato con Software Heritage, punta verso una copertura linguistica più ampia e una migliore provenienza dei dati. Prevediamo una continua enfasi sulla trasparenza dei dati di formazione, sui meccanismi di opt-out e sulla chiarezza delle licenze man mano che cresce il controllo legale dei modelli con addestramento del codice, oltre a una più stretta integrazione nelle piattaforme di sviluppo aziendale.
Implementazione nel mondo reale
Alimentazione dei suggerimenti di completamento automatico e completamento del codice all'interno dei plug-in IDE e delle estensioni dell'editor
Generazione di funzioni boilerplate, unit test e docstring da un commento in linguaggio naturale
Traduzione o refactoring del codice tra linguaggi di programmazione all'interno di una codebase aziendale
Funge da assistente di codifica self-hostable per le organizzazioni che non possono inviare codice proprietario ad API cloud chiuse
Rischi e guardrail
Gli annunci di lancio potrebbero superare la stabilità nei flussi di lavoro di produzione reali.
I prezzi delle API o i cambiamenti politici possono infrangere le ipotesi da un giorno all’altro.
La dipendenza da un unico fornitore aumenta i costi di lock-in e di migrazione.
Tabella di marcia per l'implementazione
Valuta i fornitori utilizzando le tue attività e i tuoi set di dati.
Esamina la privacy, la sicurezza e i termini legali prima dell'integrazione.
Mantenere un piano di riserva tra modelli o fornitori.
Monitora le note di rilascio in modo che le modifiche alla roadmap non sorprendano i team.
Continua a esplorare
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ServiceNow and StarCoder quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Prossima guida
LAION e Open Dataset
Domande frequenti
What is ServiceNow and StarCoder?
StarCoder è un modello linguistico aperto di grandi dimensioni per il codice, creato da ServiceNow Research e Hugging Face attraverso il progetto BigCode. È importante perché ha portato un assistente di codifica con licenza permissiva e addestrato in modo trasparente in un campo dominato da modelli chiusi.
Quali due organizzazioni hanno co-guidato il progetto BigCode che ha prodotto StarCoder?
BigCode è stato uno sforzo collaborativo condotto da ServiceNow Research e Hugging Face per creare modelli di codice aperti e sviluppati in modo responsabile.
Qual è il nome del set di dati del codice sorgente con licenza permissiva utilizzato per addestrare StarCoder?
StarCoder è stato addestrato su The Stack, un ampio corpus di codice concesso in licenza permissiva in più di 80 lingue.
Quale tecnica di training consente a StarCoder di completare il codice utilizzando il contesto su entrambi i lati del cursore?
La formazione Fill-in-the-Middle riordina i documenti in modo che il modello impari a generare un intervallo mancante dato il contesto precedente e successivo.
Quanto è grande all'incirca il modello di punta StarCoderBase?
StarCoderBase ha circa 15,5 miliardi di parametri, modesti per gli standard di frontiera ma forti per le sue dimensioni nelle attività di codice.
Quale ottimizzazione dell'attenzione utilizza StarCoder per ridurre la memoria e accelerare l'inferenza?
StarCoder utilizza l'attenzione multi-query, condividendo proiezioni chiave e di valore tra le teste per ridurre la memoria e accelerare l'inferenza di contesto lungo.