ServiceNow と StarCoder
StarCoder は、ServiceNow Research と Hugging Face によって BigCode プロジェクトを通じて構築されたコード用のオープンな大規模言語モデルです。
概要
It matters because it brought a permissively licensed, transparently trained coding assistant to a field dominated by closed models.
ディープダイブ
StarCoder は、ServiceNow Research と Hugging Face が共同主導するコラボレーションである BigCode によって 2023 年 5 月にリリースされたコード生成モデルのファミリーです。主力の StarCoderBase は、80 以上のプログラミング言語にまたがる許可されたソース コードの大規模なデータセットである The Stack から抽出された約 1 兆のトークンでトレーニングされた 155 億のパラメーター モデルです。主要な特徴は、8,000 トークンのコンテキスト ウィンドウと中間入力トレーニングで、前方予測だけでなく、前後の行の両方を指定してコードを完成させます。 BigCode はデータ ガバナンスを強調し、トレーニング データを公開し、開発者にオプトアウト ツールを提供し、責任ある OpenRAIL-M ライセンスの下でモデルをリリースしました。 2024 年にリリースされた StarCoder2 では、対応言語が 600 以上に拡大されました。
技術的な洞察
StarCoder は、マルチクエリ アテンションを備えたデコーダ専用トランスフォーマーを使用します。これは、アテンション ヘッド全体でキーと値の投影を共有して、メモリ使用量を削減し、長いコンテキスト長での推論を高速化します。これは、文書がランダムに分割されて並べ替えられる中間埋め込みを使用してトレーニングされているため、モデルは周囲のコードに応じて欠落しているスパンを生成することを学習します。これにより、カーソルの両側にコンテキストが存在する IDE のオートコンプリートに適しています。
戦略的影響
ベンダー戦略
ベンダーのロードマップは、チームが次に構築できる機能に影響を与えます。
費用と予算
商業条件と導入オプションは、長期的なコストとリスクに影響します。
リスクと安全性
企業のインセンティブは、製品のデフォルト、安全姿勢、オープン性を形成します。
ServiceNow と StarCoder の将来
コード モデルは、オートコンプリートだけでなく、計画、テストの実行、および独自の出力の修正を行うエージェント ワークフローに移行しています。 StarCoder2 は、Software Heritage で構築された大規模な Stack v2 データセットでトレーニングされており、より広範囲の言語をカバーし、より優れたデータ出所を目指しています。コードでトレーニングされたモデルに対する法的監視が強化され、エンタープライズ開発者プラットフォームへの統合が強化されるにつれて、透明性のあるトレーニング データ、オプトアウト メカニズム、ライセンスの明確さが引き続き重視されることが予想されます。
現実世界の実装
IDE プラグインおよびエディター拡張機能内でオートコンプリートとコード補完の提案を強化
自然言語コメントからの定型関数、単体テスト、およびドキュメント文字列の生成
エンタープライズコードベース内のプログラミング言語間のコードの翻訳またはリファクタリング
独自のコードをクローズドなクラウド API に送信できない組織向けの自己ホスト可能なコーディング アシスタントとして機能します。
リスクとガードレール
実際の制作ワークフローでは、発売の発表が安定性を上回る可能性があります。
API の価格設定やポリシーの変更により、一夜にして想定が崩れる可能性があります。
単一ベンダーへの依存により、ロックインと移行のコストが増加します。
実装ロードマップ
独自のタスクとデータセットを使用してプロバイダーを評価します。
統合する前に、プライバシー、セキュリティ、法的条件を確認してください。
モデルやベンダー全体でフォールバック計画を維持します。
ロードマップの変更がチームを驚かせないように、リリース ノートを監視します。
探検を続けましょう
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ServiceNow and StarCoder quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
次のガイド
LAION とオープン データセット
よくある質問
What is ServiceNow and StarCoder?
StarCoder は、ServiceNow Research と Hugging Face によって BigCode プロジェクトを通じて構築されたコード用のオープンな大規模言語モデルです。これが重要なのは、寛容なライセンスを取得し、透過的に訓練されたコーディングアシスタントを、クローズドモデルが支配する分野に導入したためです。
StarCoder を生み出した BigCode プロジェクトを共同主導した 2 つの組織はどれですか?
BigCode は、オープンで責任を持って開発されたコード モデルを構築するために、ServiceNow Research と Hugging Face が共同で主導した共同作業です。
StarCoder のトレーニングに使用される、許容的にライセンスされたソース コードのデータセットの名前は何ですか?
StarCoder は、80 を超える言語にわたる許可されたライセンス コードの大規模なコーパスである The Stack でトレーニングされました。
StarCoder がカーソルの両側のコンテキストを使用してコードを完成できるようにするトレーニング手法は何ですか?
Fill-in-the-Middle トレーニングではドキュメントの順序が変更されるため、モデルは前後のコンテキストに応じて欠落しているスパンを生成することを学習します。
フラッグシップ StarCoderBase モデルのサイズはおよそどのくらいですか?
StarCoderBase には約 155 億のパラメータがあり、最前線の標準に比べれば控えめですが、コード タスクのサイズとしては強力です。
StarCoder はメモリを削減し、推論を高速化するためにどの注意最適化を使用しますか?
StarCoder は、マルチクエリ アテンションを使用し、キーと値の投影をヘッド間で共有することでメモリを削減し、長いコンテキストの推論を高速化します。