A seguirPróximo guia
LAION e conjuntos de dados abertos
Empresas
GUIA DE EMPRESAS
ServiceNow e StarCoder
StarCoder é um modelo de linguagem aberta para código, desenvolvido pela ServiceNow Research e Hugging Face por meio do projeto BigCode.
Nesta página2 minutos de leitura
Visão geral
É importante porque trouxe um assistente de codificação licenciado de forma permissiva e treinado de forma transparente para um campo dominado por modelos fechados.
Mergulho profundo
StarCoder é uma família de modelos de geração de código lançada em maio de 2023 pela BigCode, uma colaboração co-liderada pela ServiceNow Research e Hugging Face. O carro-chefe StarCoderBase é um modelo de 15,5 bilhões de parâmetros treinado em aproximadamente um trilhão de tokens extraídos do The Stack, um grande conjunto de dados de código-fonte licenciado permissivamente, abrangendo mais de 80 linguagens de programação. Um recurso distintivo importante é sua janela de contexto de 8.000 tokens e o treinamento Fill-in-the-Middle, permitindo que ele complete o código fornecido nas linhas anteriores e seguintes, em vez de apenas prever o futuro. BigCode enfatizou a governança de dados: publicou os dados de treinamento, ofereceu uma ferramenta de opt-out para desenvolvedores e lançou o modelo sob a licença OpenRAIL-M responsável. StarCoder2, lançado em 2024, expandiu a cobertura para mais de 600 idiomas.
Impacto Estratégico
Estratégia do fornecedor
Os roteiros dos fornecedores influenciam quais recursos sua equipe pode construir a seguir.
Custo e orçamento
Os termos comerciais e as opções de implantação afetam os custos e riscos a longo prazo.
Risco e segurança
Os incentivos da empresa moldam os padrões de produto, a postura de segurança e a abertura.
O futuro do ServiceNow e StarCoder
Os modelos de código estão migrando para fluxos de trabalho de agente, onde eles não apenas preenchem automaticamente, mas também planejam, executam testes e corrigem sua própria saída. StarCoder2, treinado no conjunto de dados Stack v2 maior construído com Software Heritage, aponta para uma cobertura linguística mais ampla e melhor proveniência dos dados. Espere uma ênfase contínua em dados de treinamento transparentes, mecanismos de exclusão e clareza de licenciamento à medida que cresce o escrutínio legal dos modelos treinados em código, além de uma integração mais estreita nas plataformas de desenvolvedores empresariais.
Implementação no mundo real
Potencializando sugestões de preenchimento automático e preenchimento de código dentro de plug-ins IDE e extensões de editor
Gerando funções padronizadas, testes unitários e docstrings a partir de um comentário em linguagem natural
Tradução ou refatoração de código entre linguagens de programação em uma base de código empresarial
Servir como assistente de codificação auto-hospedado para organizações que não podem enviar código proprietário para APIs de nuvem fechada
Riscos e guarda-corpos
Os anúncios de lançamento podem superar a estabilidade em fluxos de trabalho de produção reais.
Os preços das APIs ou as mudanças nas políticas podem quebrar suposições da noite para o dia.
A dependência de um único fornecedor aumenta os custos de aprisionamento e migração.
Roteiro de implementação
Avalie os provedores usando suas próprias tarefas e conjuntos de dados.
Revise os termos legais, de privacidade e segurança antes da integração.
Mantenha um plano alternativo entre modelos ou fornecedores.
Monitore as notas de lançamento para que as mudanças no roteiro não surpreendam as equipes.
Continue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ServiceNow and StarCoder quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Perguntas frequentes
O que é ServiceNow e StarCoder?
StarCoder é um modelo de linguagem aberta para código, desenvolvido pela ServiceNow Research e Hugging Face por meio do projeto BigCode. É importante porque trouxe um assistente de codificação licenciado de forma permissiva e treinado de forma transparente para um campo dominado por modelos fechados.
Quais são as duas organizações que co-lideraram o projeto BigCode que produziu o StarCoder?
BigCode foi um esforço colaborativo co-liderado pela ServiceNow Research e Hugging Face para construir modelos de código abertos e desenvolvidos de forma responsável.
Qual é o nome do conjunto de dados de código-fonte licenciado permissivamente usado para treinar o StarCoder?
StarCoder foi treinado no The Stack, um grande corpus de código licenciado permissivamente em mais de 80 idiomas.
Qual técnica de treinamento permite ao StarCoder completar o código usando o contexto em ambos os lados do cursor?
O treinamento Fill-in-the-Middle reordena documentos para que o modelo aprenda a gerar um intervalo ausente dado o contexto anterior e seguinte.
Qual é aproximadamente o tamanho do modelo principal StarCoderBase?
StarCoderBase tem cerca de 15,5 bilhões de parâmetros, modestos para os padrões de fronteira, mas fortes para seu tamanho em tarefas de código.
Qual otimização de atenção o StarCoder usa para reduzir a memória e acelerar a inferência?
StarCoder usa atenção de múltiplas consultas, compartilhando projeções de chave e valor entre cabeças para reduzir a memória e acelerar a inferência de contexto longo.
Continue aprendendo
Guias relacionados
Mais guias escolhidos para este tópico