ServiceNow와 StarCoder
StarCoder는 ServiceNow Research와 Hugging Face가 BigCode 프로젝트를 통해 구축한 코드용 개방형 대규모 언어 모델입니다.
개요
It matters because it brought a permissively licensed, transparently trained coding assistant to a field dominated by closed models.
심층 분석
StarCoder는 ServiceNow Research와 Hugging Face가 공동으로 주도한 협업인 BigCode가 2023년 5월에 출시한 코드 생성 모델 제품군입니다. 주력 StarCoderBase는 80개 이상의 프로그래밍 언어에 걸쳐 허용된 라이선스가 부여된 소스 코드의 대규모 데이터 세트인 The Stack에서 가져온 약 1조 개의 토큰으로 훈련된 155억 개의 매개변수 모델입니다. 주요 구별 기능은 8,000개의 토큰 컨텍스트 창과 중간 채우기 학습으로, 앞으로만 예측하는 것이 아니라 이전 및 다음 줄을 모두 제공하여 코드를 완성할 수 있습니다. BigCode는 데이터 거버넌스를 강조했습니다. 교육 데이터를 게시하고, 개발자를 위한 옵트아웃 도구를 제공하고, 책임 있는 OpenRAIL-M 라이선스에 따라 모델을 출시했습니다. 2024년에 출시된 StarCoder2는 600개 이상의 언어로 적용 범위를 확장했습니다.
기술적 통찰력
StarCoder는 멀티 쿼리 어텐션이 있는 디코더 전용 변환기를 사용합니다. 이 변환기는 어텐션 헤드 전반에 걸쳐 키와 값 예측을 공유하여 메모리 사용을 줄이고 긴 컨텍스트 길이에서 추론 속도를 높입니다. 문서가 무작위로 분할되고 재정렬되어 모델이 주변 코드에 따라 누락된 범위를 생성하는 방법을 학습하는 Fill-in-the-Middle로 훈련되었습니다. 이는 커서의 양쪽에 컨텍스트가 존재하는 IDE 자동 완성에 매우 적합합니다.
전략적 영향
벤더 전략
공급업체 로드맵은 팀이 다음에 구축할 수 있는 기능에 영향을 미칩니다.
비용 및 예산
상업적 조건과 배포 옵션은 장기적인 비용과 위험에 영향을 미칩니다.
위험과 안전
회사 인센티브는 제품 기본값, 안전 태세 및 개방성을 형성합니다.
ServiceNow와 StarCoder의 미래
코드 모델은 자동 완성뿐 아니라 자체 출력을 계획, 테스트 실행 및 수정하는 에이전트 워크플로로 이동하고 있습니다. Software Heritage로 구축된 대규모 Stack v2 데이터 세트에서 훈련된 StarCoder2는 더 넓은 언어 범위와 더 나은 데이터 출처를 가리킵니다. 코드 훈련 모델에 대한 법적 조사가 강화됨에 따라 투명한 훈련 데이터, 옵트아웃 메커니즘, 라이센스 명확성이 지속적으로 강조되고 기업 개발자 플랫폼과의 통합이 더욱 긴밀해질 것으로 예상됩니다.
실제 구현
IDE 플러그인 및 편집기 확장 내에서 자동 완성 및 코드 완성 제안 강화
자연어 주석에서 상용구 함수, 단위 테스트 및 독스트링 생성
엔터프라이즈 코드베이스 내 프로그래밍 언어 간 코드 번역 또는 리팩터링
폐쇄형 클라우드 API에 독점 코드를 보낼 수 없는 조직을 위한 자체 호스팅 가능한 코딩 도우미 역할을 합니다.
위험 및 가드레일
출시 발표는 실제 생산 워크플로의 안정성보다 앞설 수 있습니다.
API 가격 책정이나 정책 변경으로 인해 하룻밤 사이에 가정이 깨질 수 있습니다.
단일 공급업체 종속성은 종속 및 마이그레이션 비용을 증가시킵니다.
구현 로드맵
자체 작업과 데이터 세트를 사용하여 공급자를 평가합니다.
통합하기 전에 개인정보 보호, 보안, 법적 약관을 검토하세요.
모델이나 공급업체 전반에 걸쳐 대체 계획을 유지합니다.
로드맵 변경으로 인해 팀이 놀라지 않도록 릴리스 노트를 모니터링하세요.
계속 탐색하세요
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ServiceNow and StarCoder quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
다음 가이드
LAION 및 공개 데이터 세트
자주 묻는 질문
What is ServiceNow and StarCoder?
StarCoder는 ServiceNow Research와 Hugging Face가 BigCode 프로젝트를 통해 구축한 코드용 개방형 대규모 언어 모델입니다. 폐쇄형 모델이 지배하는 분야에 허가를 받고 투명하게 훈련된 코딩 보조자를 데려왔기 때문에 이는 중요합니다.
StarCoder를 제작한 BigCode 프로젝트를 공동 주도한 두 조직은 무엇입니까?
BigCode는 개방적이고 책임감 있게 개발된 코드 모델을 구축하기 위해 ServiceNow Research와 Hugging Face가 공동으로 주도한 공동 노력입니다.
StarCoder를 교육하는 데 사용되는 허용 라이선스 소스 코드의 데이터 세트 이름은 무엇입니까?
StarCoder는 80개 이상의 언어에 걸쳐 허용된 라이센스가 부여된 대규모 코드 모음인 The Stack에서 교육을 받았습니다.
StarCoder가 커서 양쪽의 컨텍스트를 사용하여 코드를 완성할 수 있는 훈련 기술은 무엇입니까?
중간 채우기 학습은 문서 순서를 변경하여 모델이 이전 및 다음 컨텍스트에서 누락된 범위를 생성하는 방법을 학습합니다.
주력 StarCoderBase 모델의 크기는 대략 얼마나 됩니까?
StarCoderBase에는 약 155억 개의 매개변수가 있으며 이는 개척자 표준에 따르면 적당하지만 코드 작업의 규모에 비해 강력합니다.
StarCoder는 메모리를 줄이고 추론 속도를 높이기 위해 어떤 주의 최적화를 사용합니까?
StarCoder는 다중 쿼리 주의를 사용하여 헤드 전체에서 키 및 값 예측을 공유하여 메모리를 줄이고 긴 컨텍스트 추론을 가속화합니다.