企業ガイド
ServiceNow と StarCoder
The original StarCoder models were developed by the BigCode collaboration, co-led by ServiceNow Research and Hugging Face.
このガイドを聴くAIによるナレーション · ~2 min
概要
Their paper documents training data and model capabilities, while the OpenRAIL-M license permits use subject to stated restrictions.
ディープダイブ
The 2023 BigCode paper introduced StarCoderBase and StarCoder as 15.5-billion-parameter code models with an 8,000-token context. StarCoderBase was pretrained on about one trillion tokens from The Stack, and StarCoder was produced by further fine-tuning StarCoderBase on 35 billion Python tokens. The paper describes fill-in-the-middle training, multi-query attention, data documentation, opt-out mechanisms, and release under BigCode’s OpenRAIL-M license. StarCoder2 is a later, separate model family introduced in 2024.
現実世界の実装
IDE プラグインおよびエディター拡張機能内でオートコンプリートとコード補完の提案を強化
自然言語コメントからの定型関数、単体テスト、およびドキュメント文字列の生成
エンタープライズコードベース内のプログラミング言語間のコードの翻訳またはリファクタリング
独自のコードをクローズドなクラウド API に送信できない組織向けの自己ホスト可能なコーディング アシスタントとして機能します。
ServiceNow と StarCoder の将来
コード モデルは、オートコンプリートだけでなく、計画、テストの実行、および独自の出力の修正を行うエージェント ワークフローに移行しています。 StarCoder2 は、Software Heritage で構築された大規模な Stack v2 データセットでトレーニングされており、より広範囲の言語をカバーし、より優れたデータ出所を目指しています。コードでトレーニングされたモデルに対する法的監視が強化され、エンタープライズ開発者プラットフォームへの統合が強化されるにつれて、透明性のあるトレーニング データ、オプトアウト メカニズム、ライセンスの明確さが引き続き重視されることが予想されます。
実践する
なぜそれが重要なのか
- ベンダー戦略. ベンダーのロードマップは、チームが次に構築できる機能に影響を与えます。
- 費用と予算. 商業条件と導入オプションは、長期的なコストとリスクに影響します。
- リスクと安全性. 企業のインセンティブは、製品のデフォルト、安全姿勢、オープン性を形成します。
気をつけてください
- 実際の制作ワークフローでは、発売の発表が安定性を上回る可能性があります。
- API の価格設定やポリシーの変更により、一夜にして想定が崩れる可能性があります。
- 単一ベンダーへの依存により、ロックインと移行のコストが増加します。
次のステップ
- 独自のタスクとデータセットを使用してプロバイダーを評価します。
- 統合する前に、プライバシー、セキュリティ、法的条件を確認してください。
- モデルやベンダー全体でフォールバック計画を維持します。
- ロードマップの変更がチームを驚かせないように、リリース ノートを監視します。
探検を続けましょう
よくある質問
ServiceNow と StarCoder とは何ですか?
The original StarCoder models were developed by the BigCode collaboration, co-led by ServiceNow Research and Hugging Face. Their paper documents training data and model capabilities, while the OpenRAIL-M license permits use subject to stated restrictions.
StarCoder を生み出した BigCode プロジェクトを共同主導した 2 つの組織はどれですか?
BigCode は、オープンで責任を持って開発されたコード モデルを構築するために、ServiceNow Research と Hugging Face が共同で主導した共同作業です。
Which dataset was used for StarCoderBase pretraining?
StarCoderBase was pretrained on The Stack, a large collection of permissively licensed source code.
StarCoder がカーソルの両側のコンテキストを使用してコードを完成できるようにするトレーニング手法は何ですか?
Fill-in-the-Middle トレーニングではドキュメントの順序が変更されるため、モデルは前後のコンテキストに応じて欠落しているスパンを生成することを学習します。
フラッグシップ StarCoderBase モデルのサイズはおよそどのくらいですか?
StarCoderBase には約 155 億のパラメータがあり、最前線の標準に比べれば控えめですが、コード タスクのサイズとしては強力です。
StarCoder はメモリを削減し、推論を高速化するためにどの注意最適化を使用しますか?
StarCoder は、マルチクエリ アテンションを使用し、キーと値の投影をヘッド間で共有することでメモリを削減し、長いコンテキストの推論を高速化します。