Mô hình mã ngữ cảnh dài Magic AI
Magic AI xây dựng các mô hình tạo mã biên giới được phân biệt bằng các cửa sổ ngữ cảnh cực dài, cho phép mô hình đọc toàn bộ cơ sở mã cùng một lúc.
Tổng quan
It matters because software understanding depends on context, and a model that can hold millions of lines in memory can reason about a whole project rather than one file.
Lặn sâu
Magic AI là một công ty khởi nghiệp hướng tới xây dựng một kỹ sư phần mềm AI thay vì chỉ là một công cụ tự động hoàn thành. Thành tựu nổi bật của nó là dòng mô hình LTM (Bộ nhớ dài hạn), bao gồm LTM-2-mini, mà công ty cho biết hỗ trợ các cửa sổ ngữ cảnh lên tới 100 triệu mã thông báo - gần tương đương với khoảng 10 triệu dòng mã hoặc hàng nghìn cuốn sách được giữ trong ngữ cảnh hoạt động cùng một lúc. Vào năm 2024, Magic đã công bố mối quan hệ hợp tác lớn với Google Cloud để xây dựng siêu máy tính trên phần cứng Nvidia và huy động được hàng trăm triệu đô la, với những người ủng hộ bao gồm cả Eric Schmidt. Để đo lường sự tiến bộ ngoài các tiêu chuẩn dễ ghi nhớ, Magic đã tạo ra HashHop, một đánh giá sử dụng chuỗi băm ngẫu nhiên mà mô hình không thể đơn giản nhớ lại sau quá trình đào tạo, buộc phải truy xuất ngữ cảnh dài thực sự.
Hiểu biết kỹ thuật
Sự chú ý của máy biến áp tiêu chuẩn chia tỷ lệ bậc hai với độ dài chuỗi, khiến bối cảnh 100 triệu mã thông báo trở nên cực kỳ tốn kém bằng các phương pháp đơn giản. Magic báo cáo rằng thuật toán thứ nguyên chuỗi LTM-2-mini của nó rẻ hơn đáng kể trên mỗi mã thông báo so với cách tiếp cận như vậy, cho phép bối cảnh cực dài với giá cả phải chăng. Điểm chuẩn HashHop thay thế các gợi ý ngữ nghĩa bằng các cặp băm ngẫu nhiên, không thể nén được, vì vậy cách duy nhất để trả lời là truy xuất và xâu chuỗi thông tin trên toàn bộ cửa sổ ngữ cảnh - một bài kiểm tra nghiêm ngặt hơn nhiều về khả năng ngữ cảnh dài.
Tác động chiến lược
Chiến lược nhà cung cấp
Lộ trình của nhà cung cấp ảnh hưởng đến những tính năng mà nhóm của bạn có thể xây dựng tiếp theo.
Chi phí và ngân sách
Các điều khoản thương mại và các lựa chọn triển khai ảnh hưởng đến chi phí và rủi ro dài hạn.
Rủi ro và an toàn
Các biện pháp khuyến khích của công ty định hình các tình trạng vỡ nợ của sản phẩm, trạng thái an toàn và tính cởi mở.
Tương lai của các mô hình mã ngữ cảnh dài AI của Magic
Nếu các mô hình có thể nắm giữ và suy luận một cách đáng tin cậy trên toàn bộ cơ sở mã, thì trợ lý AI sẽ chuyển từ đề xuất các đoạn mã sang thực hiện các công cụ tái cấu trúc trên toàn dự án, truy tìm lỗi trên nhiều tệp và triển khai các tính năng liên quan đến hàng chục mô-đun. Những thách thức mở là duy trì khả năng suy luận theo ngữ cảnh siêu dài nhanh chóng và ít tốn kém, đồng thời chứng minh mô hình thực sự sử dụng ngữ cảnh ở xa thay vì bỏ qua nó. Mong đợi bối cảnh dài cộng với quy trình làm việc tác nhân sẽ hội tụ vào các hệ thống hoạt động như những cộng tác viên kỹ thuật phần mềm thực sự.
Triển khai trong thế giới thực
Đang tải toàn bộ kho lưu trữ lớn để mô hình có thể trả lời các câu hỏi về mức độ tương tác của các mô-đun ở xa.
Thực hiện trình tái cấu trúc trên toàn dự án trong đó thay đổi trong giao diện của một tệp được truyền bá chính xác trên toàn bộ cơ sở mã.
Truy tìm lỗi có nguyên nhân kéo dài trên nhiều tệp bằng cách suy luận toàn bộ ngữ cảnh cùng một lúc thay vì từng tệp.
Đưa vào một cơ sở mã không quen thuộc bằng cách yêu cầu mô hình tóm tắt kiến trúc bằng cách sử dụng nguồn hoàn chỉnh làm ngữ cảnh.
Rủi ro & lan can
Thông báo ra mắt có thể vượt xa sự ổn định trong quy trình sản xuất thực tế.
Việc định giá API hoặc thay đổi chính sách có thể phá vỡ các giả định chỉ sau một đêm.
Sự phụ thuộc vào một nhà cung cấp làm tăng chi phí khóa và di chuyển.
Lộ trình thực hiện
Đánh giá các nhà cung cấp bằng cách sử dụng các nhiệm vụ và bộ dữ liệu của riêng bạn.
Xem lại các điều khoản về quyền riêng tư, bảo mật và pháp lý trước khi tích hợp.
Duy trì kế hoạch dự phòng giữa các mô hình hoặc nhà cung cấp.
Theo dõi ghi chú phát hành để những thay đổi về lộ trình không gây ngạc nhiên cho các nhóm.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Magic AI Long-Context Code Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Giao thức bối cảnh mô hình
Câu hỏi thường gặp
What is Magic AI Long-Context Code Models?
Magic AI xây dựng các mô hình tạo mã biên giới được phân biệt bằng các cửa sổ ngữ cảnh cực dài, cho phép mô hình đọc toàn bộ cơ sở mã cùng một lúc. Điều này quan trọng vì sự hiểu biết về phần mềm phụ thuộc vào ngữ cảnh và một mô hình có thể chứa hàng triệu dòng trong bộ nhớ có thể suy luận về toàn bộ dự án chứ không phải một tệp.
Magic AI chủ yếu đang cố gắng xây dựng điều gì?
Magic nhằm mục đích xây dựng một kỹ sư phần mềm AI chứ không chỉ là một công cụ tự động hoàn thành.
Magic đã xác nhận kích thước cửa sổ ngữ cảnh nào cho các mẫu LTM của mình?
Magic đã công bố hỗ trợ cho các cửa sổ ngữ cảnh lên tới 100 triệu mã thông báo, khoảng 10 triệu dòng mã.
HashHop là gì?
HashHop sử dụng các cặp băm ngẫu nhiên, không thể nén nên mô hình phải truy xuất và xâu chuỗi thông tin một cách chân thực theo ngữ cảnh.
Tại sao sự chú ý của người biến đổi ngây thơ lại là một vấn đề đối với bối cảnh 100 triệu mã thông báo?
Chi phí của sự chú ý tiêu chuẩn tăng theo bình phương độ dài chuỗi, vì vậy các bối cảnh rất dài sẽ cực kỳ tốn kém nếu không có thuật toán tốt hơn.
Magic đã hợp tác với công ty nào vào năm 2024 để chế tạo siêu máy tính?
Magic đã công bố hợp tác với Google Cloud để xây dựng siêu máy tính trên phần cứng Nvidia.