개요
Their paper documents training data and model capabilities, while the OpenRAIL-M license permits use subject to stated restrictions.
심층 분석
The 2023 BigCode paper introduced StarCoderBase and StarCoder as 15.5-billion-parameter code models with an 8,000-token context. StarCoderBase was pretrained on about one trillion tokens from The Stack, and StarCoder was produced by further fine-tuning StarCoderBase on 35 billion Python tokens. The paper describes fill-in-the-middle training, multi-query attention, data documentation, opt-out mechanisms, and release under BigCode’s OpenRAIL-M license. StarCoder2 is a later, separate model family introduced in 2024.
실제 구현
IDE 플러그인 및 편집기 확장 내에서 자동 완성 및 코드 완성 제안 강화
자연어 주석에서 상용구 함수, 단위 테스트 및 독스트링 생성
엔터프라이즈 코드베이스 내 프로그래밍 언어 간 코드 번역 또는 리팩터링
폐쇄형 클라우드 API에 독점 코드를 보낼 수 없는 조직을 위한 자체 호스팅 가능한 코딩 도우미 역할을 합니다.
ServiceNow와 StarCoder의 미래
코드 모델은 자동 완성뿐 아니라 자체 출력을 계획, 테스트 실행 및 수정하는 에이전트 워크플로로 이동하고 있습니다. Software Heritage로 구축된 대규모 Stack v2 데이터 세트에서 훈련된 StarCoder2는 더 넓은 언어 범위와 더 나은 데이터 출처를 가리킵니다. 코드 훈련 모델에 대한 법적 조사가 강화됨에 따라 투명한 훈련 데이터, 옵트아웃 메커니즘, 라이센스 명확성이 지속적으로 강조되고 기업 개발자 플랫폼과의 통합이 더욱 긴밀해질 것으로 예상됩니다.
실천에 옮기기
왜 중요한가요?
- 벤더 전략. 공급업체 로드맵은 팀이 다음에 구축할 수 있는 기능에 영향을 미칩니다.
- 비용 및 예산. 상업적 조건과 배포 옵션은 장기적인 비용과 위험에 영향을 미칩니다.
- 위험과 안전. 회사 인센티브는 제품 기본값, 안전 태세 및 개방성을 형성합니다.
조심하세요
- 출시 발표는 실제 생산 워크플로의 안정성보다 앞설 수 있습니다.
- API 가격 책정이나 정책 변경으로 인해 하룻밤 사이에 가정이 깨질 수 있습니다.
- 단일 공급업체 종속성은 종속 및 마이그레이션 비용을 증가시킵니다.
다음 단계
- 자체 작업과 데이터 세트를 사용하여 공급자를 평가합니다.
- 통합하기 전에 개인정보 보호, 보안, 법적 약관을 검토하세요.
- 모델이나 공급업체 전반에 걸쳐 대체 계획을 유지합니다.
- 로드맵 변경으로 인해 팀이 놀라지 않도록 릴리스 노트를 모니터링하세요.
계속 탐색하세요
무료 뉴스레터
일일 AI 브리핑 받기
매주 평일 아침마다 3개의 검증된 AI 스토리를 일반 영어로 작성합니다. 무료이며, 광고 없음.
매주 평일마다 한 번 이메일을 받습니다. 한 번 클릭으로 구독 해지. 주소를 판매하거나 공유하지 않습니다.
자신을 테스트해 보세요
Take the ServiceNow and StarCoder quiz
모든 답변에 즉각적인 피드백과, 과정을 통과하면 검증 가능한 ID가 있는 공유 가능한 인증서를 제공합니다.
무료 AI 교육을 지원합니다. AI Understanding는 501(c)(3) 비영리 단체입니다 — 광고 없음, 유료 장벽 없음, 영원히. 기부하기
자주 묻는 질문
ServiceNow와 StarCoder란 무엇입니까?
The original StarCoder models were developed by the BigCode collaboration, co-led by ServiceNow Research and Hugging Face. Their paper documents training data and model capabilities, while the OpenRAIL-M license permits use subject to stated restrictions.
StarCoder를 제작한 BigCode 프로젝트를 공동 주도한 두 조직은 무엇입니까?
BigCode는 개방적이고 책임감 있게 개발된 코드 모델을 구축하기 위해 ServiceNow Research와 Hugging Face가 공동으로 주도한 공동 노력입니다.
Which dataset was used for StarCoderBase pretraining?
StarCoderBase was pretrained on The Stack, a large collection of permissively licensed source code.
StarCoder가 커서 양쪽의 컨텍스트를 사용하여 코드를 완성할 수 있는 훈련 기술은 무엇입니까?
중간 채우기 학습은 문서 순서를 변경하여 모델이 이전 및 다음 컨텍스트에서 누락된 범위를 생성하는 방법을 학습합니다.
주력 StarCoderBase 모델의 크기는 대략 얼마나 됩니까?
StarCoderBase에는 약 155억 개의 매개변수가 있으며 이는 개척자 표준에 따르면 적당하지만 코드 작업의 규모에 비해 강력합니다.
StarCoder는 메모리를 줄이고 추론 속도를 높이기 위해 어떤 주의 최적화를 사용합니까?
StarCoder는 다중 쿼리 주의를 사용하여 헤드 전체에서 키 및 값 예측을 공유하여 메모리를 줄이고 긴 컨텍스트 추론을 가속화합니다.