Magic AI 長上下文程式碼模型
Magic AI 建立了前沿程式碼生成模型，其特點是超長的上下文窗口，讓模型可以一次讀取整個程式碼庫。
概述
It matters because software understanding depends on context, and a model that can hold millions of lines in memory can reason about a whole project rather than one file.
深入探討
Magic AI 是一家新創公司，旨在打造一名人工智慧軟體工程師，而不僅僅是一個自動完成工具。其主要成就是 LTM（長期記憶）模型系列，包括 LTM-2-mini，該公司表示，該模型支援多達 1 億個令牌的上下文窗口，大約相當於同時在活動上下文中保存約 1000 萬行程式碼或數千本書。 2024 年，Magic 宣布與 Google Cloud 建立重大合作夥伴關係，在 Nvidia 硬體上建立超級計算機，並籌集了數億美元，支持者包括 Eric Schmidt。為了衡量超越易於記憶的基準的進展，Magic 創建了 HashHop，這是一種使用隨機哈希鏈進行評估的方法，模型無法簡單地從訓練中回憶起該鏈，從而迫使進行真正的長上下文檢索。
技術洞察
標準 Transformer 注意力隨序列長度呈現二次方縮放，使得使用樸素方法處理 1 億個令牌的上下文變得極為昂貴。 Magic 報告稱，其 LTM-2-mini 序列維度演算法的每個標記比這種方法便宜得多，從而以經濟實惠的方式實現超長上下文。 HashHop 基準測試用隨機的、不可壓縮的雜湊對取代了語義提示，因此唯一的答案是在整個上下文視窗中實際檢索和連結資訊——這是對長上下文能力的更嚴格的測試。
戰略影響
供應商策略
供應商路線圖會影響您的團隊接下來可以建立的功能。
成本與預算
商業條款和部署選項會影響長期成本和風險。
風險與安全
公司激勵措施塑造了產品預設、安全態勢和開放性。
Magic AI 長上下文程式碼模型的未來
如果模型能夠可靠地保存和推理整個程式碼庫，人工智慧助理就會從建議片段轉向執行專案範圍的重構、追蹤許多檔案中的錯誤以及實現涉及數十個模組的功能。開放的挑戰是保持超長上下文推理快速且廉價，並證明模型真正使用遠端上下文而不是忽略它。期望長上下文加上代理工作流程能夠整合到充當真正的軟體工程協作者的系統中。
現實世界的實施
載入整個大型儲存庫，以便模型可以回答有關遠端模組如何互動的問題。
執行專案範圍的重構，其中一個檔案介面的變更可以正確傳播到整個程式碼庫。
透過立即推理完整上下文而不是逐個文件來追蹤其原因跨越多個文件的錯誤。
透過要求模型使用完整的原始程式碼作為上下文來總結架構，從而進入不熟悉的程式碼庫。
風險與防護欄
發佈公告可能會超過實際生產工作流程的穩定性。
API 定價或政策轉變可能會在一夜之間打破假設。
單一供應商依賴性增加了鎖定和遷移成本。
實施路線圖
使用您自己的任務和資料集評估提供者。
在整合之前查看隱私、安全和法律條款。
維護跨模型或供應商的後備計劃。
監控發行說明，以便路線圖的變更不會讓團隊感到意外。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Magic AI Long-Context Code Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is Magic AI Long-Context Code Models?
Magic AI 建立了前沿程式碼生成模型，其特點是超長的上下文窗口，讓模型可以一次讀取整個程式碼庫。這很重要，因為軟體理解取決於上下文，並且可以在記憶體中保存數百萬行的模型可以推理整個專案而不是一個檔案。
Magic AI 主要想要建造什麼？
Magic 的目標是打造一名人工智慧軟體工程師，而不僅僅是一個自動完成工具。
Magic 聲稱其 LTM 模型的上下文視窗大小是多少？
Magic 宣布支援多達 1 億個令牌（約 1000 萬行程式碼）的上下文視窗。
什麼是HashHop？
HashHop 使用隨機的、不可壓縮的哈希對，因此模型必須跨上下文真正檢索和連結資訊。
為什麼 Naive Transformer Attention 對於 1 億個 token 的上下文來說是一個問題？
標準注意力的成本隨著序列長度的平方而增長，因此如果沒有更好的演算法，很長的上下文會非常昂貴。
2024 年 Magic 與哪家公司合作建造超級電腦？
Magic 宣布與 Google Cloud 合作，在 Nvidia 硬體上建立超級電腦。