A continuaciónSiguiente guía
LAION y conjuntos de datos abiertos
Empresas
GUÍA de empresas
ServiceNow y StarCoder
The original StarCoder models were developed by the BigCode collaboration, co-led by ServiceNow Research and Hugging Face.
Escuche esta guíaNarrado por IA · ~2 min
En esta pagina2 minutos de lectura
Descripción general
Their paper documents training data and model capabilities, while the OpenRAIL-M license permits use subject to stated restrictions.
Buceo profundo
The 2023 BigCode paper introduced StarCoderBase and StarCoder as 15.5-billion-parameter code models with an 8,000-token context. StarCoderBase was pretrained on about one trillion tokens from The Stack, and StarCoder was produced by further fine-tuning StarCoderBase on 35 billion Python tokens. The paper describes fill-in-the-middle training, multi-query attention, data documentation, opt-out mechanisms, and release under BigCode’s OpenRAIL-M license. StarCoder2 is a later, separate model family introduced in 2024.
Implementación en el mundo real
Impulsar sugerencias de autocompletado y finalización de código dentro de complementos IDE y extensiones de editor
Generar funciones repetitivas, pruebas unitarias y cadenas de documentación a partir de un comentario en lenguaje natural
Traducir o refactorizar código entre lenguajes de programación dentro de una base de código empresarial
Sirve como asistente de codificación autohospedable para organizaciones que no pueden enviar código propietario a API de nube cerrada.
El futuro de ServiceNow y StarCoder
Los modelos de código se están moviendo hacia flujos de trabajo agentes en los que no solo se autocompletan sino que también planifican, ejecutan pruebas y corrigen su propia salida. StarCoder2, capacitado en el conjunto de datos más grande Stack v2 creado con Software Heritage, apunta hacia una cobertura de lenguaje más amplia y una mejor procedencia de los datos. Espere un énfasis continuo en datos de capacitación transparentes, mecanismos de exclusión voluntaria y claridad en las licencias a medida que crece el escrutinio legal de los modelos entrenados en código, además de una integración más estrecha en las plataformas de desarrollo empresarial.
Poniéndolo en práctica
Por qué es importante
- Estrategia del proveedor. Las hojas de ruta de los proveedores influyen en las funciones que su equipo puede desarrollar a continuación.
- Costo y presupuesto. Los términos comerciales y las opciones de implementación afectan los costos y riesgos a largo plazo.
- Riesgo y seguridad. Los incentivos de las empresas dan forma a los incumplimientos de los productos, la postura de seguridad y la apertura.
cuidado con
- Los anuncios de lanzamiento pueden superar la estabilidad en los flujos de trabajo de producción reales.
- Los precios de API o los cambios de políticas pueden romper los supuestos de la noche a la mañana.
- La dependencia de un único proveedor aumenta los costos de bloqueo y migración.
Próximos pasos
- Evalúe proveedores utilizando sus propias tareas y conjuntos de datos.
- Revise los términos legales, de seguridad y de privacidad antes de la integración.
- Mantenga un plan alternativo entre modelos o proveedores.
- Supervise las notas de la versión para que los cambios en la hoja de ruta no sorprendan a los equipos.
Sigue explorando
Boletín gratuito
Recibe el resumen diario de IA
Tres noticias verificadas sobre IA cada mañana de lunes a viernes, explicadas con claridad. Gratis para siempre y sin anuncios.
Un correo cada día laborable. Date de baja con un clic. Nunca vendemos ni compartimos tu dirección.
Ponte a prueba
Take the ServiceNow and StarCoder quiz
Corrección inmediata en cada respuesta y un certificado para compartir, con un ID verificable, cuando apruebas un curso.
Apoya la educación gratuita sobre IA. AI Understanding es una organización sin fines de lucro 501(c)(3): sin anuncios ni muros de pago, nunca. Hacer una donación
Preguntas frecuentes
What is ServiceNow and StarCoder?
The original StarCoder models were developed by the BigCode collaboration, co-led by ServiceNow Research and Hugging Face. Their paper documents training data and model capabilities, while the OpenRAIL-M license permits use subject to stated restrictions.
¿Qué dos organizaciones codirigieron el proyecto BigCode que produjo StarCoder?
BigCode fue un esfuerzo de colaboración codirigido por ServiceNow Research y Hugging Face para crear modelos de código abiertos y desarrollados de forma responsable.
Which dataset was used for StarCoderBase pretraining?
StarCoderBase was pretrained on The Stack, a large collection of permissively licensed source code.
¿Qué técnica de entrenamiento permite a StarCoder completar el código usando el contexto en ambos lados del cursor?
La capacitación Fill-in-the-Middle reordena los documentos para que el modelo aprenda a generar un intervalo faltante dado el contexto anterior y siguiente.
¿Aproximadamente qué tamaño tiene el modelo estrella StarCoderBase?
StarCoderBase tiene alrededor de 15,5 mil millones de parámetros, modestos para los estándares actuales pero fuertes para su tamaño en tareas de código.
¿Qué optimización de la atención utiliza StarCoder para reducir la memoria y acelerar la inferencia?
StarCoder utiliza atención de consultas múltiples, compartiendo proyecciones de claves y valores entre cabezas para reducir la memoria y acelerar la inferencia de contexto a largo plazo.
sigue aprendiendo
Guías relacionadas
Más guías seleccionadas para este tema.