概述
Their paper documents training data and model capabilities, while the OpenRAIL-M license permits use subject to stated restrictions.
深入探討
The 2023 BigCode paper introduced StarCoderBase and StarCoder as 15.5-billion-parameter code models with an 8,000-token context. StarCoderBase was pretrained on about one trillion tokens from The Stack, and StarCoder was produced by further fine-tuning StarCoderBase on 35 billion Python tokens. The paper describes fill-in-the-middle training, multi-query attention, data documentation, opt-out mechanisms, and release under BigCode’s OpenRAIL-M license. StarCoder2 is a later, separate model family introduced in 2024.
現實世界的實施
在 IDE 插件和編輯器擴充功能中支援自動完成和程式碼完成建議
從自然語言註釋產生樣板函數、單元測試和文件字串
在企業程式碼庫內的程式語言之間翻譯或重構程式碼
為無法將專有程式碼傳送到封閉雲端 API 的組織提供自託管編碼助手
ServiceNow 和 StarCoder 的未來
程式碼模型正在向代理工作流程發展,它們不僅可以自動完成,還可以規劃、運行測試並修復自己的輸出。 StarCoder2 在使用 Software Heritage 建立的更大 Stack v2 資料集上進行了訓練,指向更廣泛的語言覆蓋範圍和更好的資料來源。隨著對程式碼訓練模型的法律審查的加強,以及與企業開發者平台的更緊密整合,預計將繼續強調透明的訓練資料、選擇退出機制和許可清晰度。
付諸實踐
為什麼這很重要
- 供應商策略. 供應商路線圖會影響您的團隊接下來可以建立的功能。
- 成本與預算. 商業條款和部署選項會影響長期成本和風險。
- 風險與安全. 公司激勵措施塑造了產品預設、安全態勢和開放性。
留意
- 發佈公告可能會超過實際生產工作流程的穩定性。
- API 定價或政策轉變可能會在一夜之間打破假設。
- 單一供應商依賴性增加了鎖定和遷移成本。
後續步驟
- 使用您自己的任務和資料集評估提供者。
- 在整合之前查看隱私、安全和法律條款。
- 維護跨模型或供應商的後備計劃。
- 監控發行說明,以便路線圖的變更不會讓團隊感到意外。
不斷探索
常見問題
What is ServiceNow and StarCoder?
The original StarCoder models were developed by the BigCode collaboration, co-led by ServiceNow Research and Hugging Face. Their paper documents training data and model capabilities, while the OpenRAIL-M license permits use subject to stated restrictions.
哪兩個組織共同領導了產生 StarCoder 的 BigCode 計畫?
BigCode 是由 ServiceNow Research 和 Hugging Face 共同領導的協作項目,旨在建立開放、負責任地開發的程式碼模型。
Which dataset was used for StarCoderBase pretraining?
StarCoderBase was pretrained on The Stack, a large collection of permissively licensed source code.
什麼訓練技術可以讓 StarCoder 使用遊標兩側的上下文完成程式碼?
中間填充訓練會對文件重新排序,以便模型學習在給定前後上下文的情況下產生缺少的範圍。
旗艦 StarCoderBase 車型大約有多大?
StarCoderBase 擁有大約 155 億個參數,以前沿標準來看,這個參數並不多,但對於程式碼任務的規模而言,參數卻很強大。
StarCoder 使用哪種注意力優化來減少記憶體並加速推理?
StarCoder 使用多查詢注意力,跨頭共享鍵和值投影來減少記憶體並加速長上下文推理。