公司指南

ServiceNow 和 StarCoder

The original StarCoder models were developed by the BigCode collaboration, co-led by ServiceNow Research and Hugging Face.

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. ServiceNow 和 StarCoder 的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

Their paper documents training data and model capabilities, while the OpenRAIL-M license permits use subject to stated restrictions.

深入探討

The 2023 BigCode paper introduced StarCoderBase and StarCoder as 15.5-billion-parameter code models with an 8,000-token context. StarCoderBase was pretrained on about one trillion tokens from The Stack, and StarCoder was produced by further fine-tuning StarCoderBase on 35 billion Python tokens. The paper describes fill-in-the-middle training, multi-query attention, data documentation, opt-out mechanisms, and release under BigCode’s OpenRAIL-M license. StarCoder2 is a later, separate model family introduced in 2024.

現實世界的實施

在 IDE 插件和編輯器擴充功能中支援自動完成和程式碼完成建議

從自然語言註釋產生樣板函數、單元測試和文件字串

在企業程式碼庫內的程式語言之間翻譯或重構程式碼

為無法將專有程式碼傳送到封閉雲端 API 的組織提供自託管編碼助手

ServiceNow 和 StarCoder 的未來

程式碼模型正在向代理工作流程發展,它們不僅可以自動完成,還可以規劃、運行測試並修復自己的輸出。 StarCoder2 在使用 Software Heritage 建立的更大 Stack v2 資料集上進行了訓練,指向更廣泛的語言覆蓋範圍和更好的資料來源。隨著對程式碼訓練模型的法律審查的加強,以及與企業開發者平台的更緊密整合,預計將繼續強調透明的訓練資料、選擇退出機制和許可清晰度。

付諸實踐

為什麼這很重要

  • 供應商策略. 供應商路線圖會影響您的團隊接下來可以建立的功能。
  • 成本與預算. 商業條款和部署選項會影響長期成本和風險。
  • 風險與安全. 公司激勵措施塑造了產品預設、安全態勢和開放性。

留意

  • 發佈公告可能會超過實際生產工作流程的穩定性。
  • API 定價或政策轉變可能會在一夜之間打破假設。
  • 單一供應商依賴性增加了鎖定和遷移成本。

後續步驟

  1. 使用您自己的任務和資料集評估提供者。
  2. 在整合之前查看隱私、安全和法律條款。
  3. 維護跨模型或供應商的後備計劃。
  4. 監控發行說明,以便路線圖的變更不會讓團隊感到意外。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

Take the ServiceNow and StarCoder quiz

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

What is ServiceNow and StarCoder?

The original StarCoder models were developed by the BigCode collaboration, co-led by ServiceNow Research and Hugging Face. Their paper documents training data and model capabilities, while the OpenRAIL-M license permits use subject to stated restrictions.

哪兩個組織共同領導了產生 StarCoder 的 BigCode 計畫?

BigCode 是由 ServiceNow Research 和 Hugging Face 共同領導的協作項目,旨在建立開放、負責任地開發的程式碼模型。

Which dataset was used for StarCoderBase pretraining?

StarCoderBase was pretrained on The Stack, a large collection of permissively licensed source code.

什麼訓練技術可以讓 StarCoder 使用遊標兩側的上下文完成程式碼?

中間填充訓練會對文件重新排序,以便模型學習在給定前後上下文的情況下產生缺少的範圍。

旗艦 StarCoderBase 車型大約有多大?

StarCoderBase 擁有大約 155 億個參數,以前沿標準來看,這個參數並不多,但對於程式碼任務的規模而言,參數卻很強大。

StarCoder 使用哪種注意力優化來減少記憶體並加速推理?

StarCoder 使用多查詢注意力,跨頭共享鍵和值投影來減少記憶體並加速長上下文推理。