概述
該公司表示,LTM-2-mini 支援高達 1 億個 Token,這可以在單一上下文中放入大量跨檔案的程式碼與文件;單靠容量並無法保證對整個程式碼庫的正確推理。
深入探討
Magic AI 是一家致力於開發 AI 軟體工程師而不僅僅是自動完成的新創公司。在其 2024 年 8 月的研究更新中,該公司描述了 LTM 模型,包含 LTM-2-mini,其上下文視窗高達 1 億個 Token;其比喻大約是 1000 萬行程式碼或約 750 本小說。這是模型容量的宣稱,並非證明模型能夠正確理解每個程式碼庫或完成每個專案級任務的證據。該更新還描述了用於超級電腦開發的 Google 雲端夥伴關係以及當時宣布的資金。Magic 推出了 HashHop 作為一項受控評估,使用隨機、不可壓縮的雜湊對與鏈結查詢來測試長上下文長度下的檢索。在該建構任務上的結果衡量了這些檢索與鏈結任務;它們並不能證明任意程式碼理解能力或在所有真實儲存庫上的效能。
現實世界的實施
提供大型儲存庫或選定的子集作為上下文來回答有關跨檔案關係的問題,然後針對原始碼檢查答案。
起草一份涉及相關檔案的重構,供開發人員審查與測試。
在調查原因可能跨越檔案的錯誤時,同時提供程式碼、文件與記錄檔。
將選定的儲存庫上下文總結為入職輔助工具,並附上供後續追蹤的連結或參考資料。
Magic AI 長上下文程式碼模型的未來
更長的上下文可以讓開發人員同時提供更多程式碼、文件與任務細節。可靠的多檔案工作仍然取決於檢索、推理準確性、工具執行與驗證。未來的系統應根據具有代表性的程式碼庫與任務進行評估,包含它們是否能找到相關的遠端檔案並做出能通過測試的變更,而不是僅憑上下文大小來評判。
付諸實踐
為什麼這很重要
- 供應商策略. 供應商路線圖會影響您的團隊接下來可以建立的功能。
- 成本與預算. 商業條款和部署選項會影響長期成本和風險。
- 風險與安全. 公司激勵措施塑造了產品預設、安全態勢和開放性。
留意
- 發佈公告可能會超過實際生產工作流程的穩定性。
- API 定價或政策轉變可能會在一夜之間打破假設。
- 單一供應商依賴性增加了鎖定和遷移成本。
後續步驟
- 使用您自己的任務和資料集評估提供者。
- 在整合之前查看隱私、安全和法律條款。
- 維護跨模型或供應商的後備計劃。
- 監控發行說明,以便路線圖的變更不會讓團隊感到意外。
不斷探索
常見問題
什麼是Magic AI長上下文程式碼模型?
Magic AI 是一家致力於開發軟體開發任務長上下文模型的新創公司。該公司表示,LTM-2-mini 支援高達 1 億個 Token,這可以在單一上下文中放入大量跨檔案的程式碼與文件;單靠容量並無法保證對整個程式碼庫的正確推理。
Magic 表示它正在追求什麼軟體開發方向?
Magic 將其工作描述為開發用於軟體工程的 AI。這是一項公司目標;它並不保證模型能夠正確處理每個程式碼庫。
Magic 在 2024 年 8 月為 LTM-2-mini 宣布的最大上下文容量是多少?
Magic 於 2024 年 8 月的報告宣布 LTM-2-mini 的上下文視窗高達 1 億個 Token。上下文容量與任務準確性是不同的。
Magic 使用 HashHop 來評估什麼?
Magic 將 HashHop 設計為一項受控的隨機雜湊檢索與鏈結基準。它減少了語義線索,但並未建立廣泛的程式碼理解能力。
為什麼 Naive Transformer Attention 對於 1 億個 token 的上下文來說是一個問題?
標準注意力的成本隨著序列長度的平方而增長,因此如果沒有更好的演算法,很長的上下文會非常昂貴。
2024 年 Magic 與哪家公司合作建造超級電腦?
Magic 宣布與 Google Cloud 合作,在 Nvidia 硬體上建立超級電腦。