Modele kodu o długim kontekście Magic AI
Magic AI buduje pionierskie modele generowania kodu wyróżniające się wyjątkowo długimi oknami kontekstowymi, umożliwiając modelowi jednoczesne odczytanie całej bazy kodu.
Przegląd
It matters because software understanding depends on context, and a model that can hold millions of lines in memory can reason about a whole project rather than one file.
Głębokie nurkowanie
Magic AI to startup, którego celem jest zbudowanie inżyniera oprogramowania AI, a nie tylko narzędzia do autouzupełniania. Jej głównym osiągnięciem jest rodzina modeli LTM (Long-Term Memory), w tym LTM-2-mini, która według firmy obsługuje okna kontekstowe zawierające do 100 milionów tokenów, co w przybliżeniu odpowiada około 10 milionom linii kodu lub tysiącom książek przechowywanych jednocześnie w aktywnym kontekście. W 2024 roku firma Magic ogłosiła zawarcie dużego partnerstwa z Google Cloud w celu budowy superkomputerów na sprzęcie Nvidia i zebrała setki milionów dolarów, między innymi dzięki Ericowi Schmidtowi. Aby zmierzyć postęp wykraczający poza łatwe do zapamiętania punkty odniesienia, Magic stworzył HashHop, ocenę wykorzystującą losowe łańcuchy skrótów, których model nie może po prostu przypomnieć sobie ze szkolenia, co wymusza wyszukiwanie w prawdziwym długim kontekście.
Wgląd techniczny
Uwaga standardowego transformatora skaluje się kwadratowo wraz z długością sekwencji, co sprawia, że konteksty zawierające 100 milionów tokenów są zbyt drogie w przypadku metod naiwnych. Firma Magic podaje, że jej algorytm wymiaru sekwencji LTM-2-mini jest znacznie tańszy w przeliczeniu na token niż takie podejście, umożliwiając przystępną cenę ultradługiego kontekstu. Benchmark HashHop zastępuje wskazówki semantyczne losowymi, nieściśliwymi parami skrótów, więc jedynym sposobem na odpowiedź jest faktyczne pobranie i połączenie informacji w całym oknie kontekstowym — znacznie bardziej rygorystyczny test zdolności w długim kontekście.
Wpływ strategiczny
Strategia dostawcy
Plany dostawców wpływają na to, jakie funkcje Twój zespół będzie mógł dalej tworzyć.
Koszt i budżet
Warunki handlowe i opcje wdrożenia wpływają na długoterminowe koszty i ryzyko.
Ryzyko i bezpieczeństwo
Zachęty firmowe kształtują wady produktów, postawę bezpieczeństwa i otwartość.
Przyszłość modeli kodu o długim kontekście Magic AI
Jeśli modele mogą niezawodnie przechowywać i analizować całą bazę kodu, asystenci AI przechodzą od sugerowania fragmentów do wykonywania refaktorów w całym projekcie, śledzenia błędów w wielu plikach i wdrażania funkcji obejmujących dziesiątki modułów. Otwartymi wyzwaniami są szybkie i tanie wnioskowanie o bardzo długim kontekście oraz udowodnienie, że model rzeczywiście wykorzystuje odległy kontekst, zamiast go ignorować. Oczekuj, że długi kontekst i agentyczne przepływy pracy zbiegną się w systemy, które będą działać jak prawdziwi współpracownicy w dziedzinie inżynierii oprogramowania.
Implementacja w świecie rzeczywistym
Ładowanie całego dużego repozytorium, aby model mógł odpowiedzieć na pytania dotyczące interakcji odległych modułów.
Wykonanie refaktora obejmującego cały projekt, w którym zmiana w interfejsie jednego pliku jest poprawnie propagowana w całej bazie kodu.
Śledzenie błędu, którego przyczyna obejmuje wiele plików, analizując jednocześnie cały kontekst, a nie plik po pliku.
Wdrożenie do nieznanej bazy kodu poprzez poproszenie modelu o podsumowanie architektury przy użyciu pełnego źródła jako kontekstu.
Zagrożenia i poręcze
Ogłoszenia o wprowadzeniu na rynek mogą przekroczyć stabilność w rzeczywistych przepływach pracy.
Ceny interfejsów API lub zmiany zasad mogą z dnia na dzień złamać założenia.
Zależność od jednego dostawcy zwiększa koszty uzależnienia i migracji.
Plan wdrożenia
Oceniaj dostawców, korzystając z własnych zadań i zbiorów danych.
Przed integracją przejrzyj warunki dotyczące prywatności, bezpieczeństwa i prawa.
Utrzymuj plan awaryjny dla różnych modeli i dostawców.
Monitoruj informacje o wersji, aby zmiany w planie działania nie zaskoczyły zespołów.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Magic AI Long-Context Code Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Modelowy protokół kontekstowy
Często zadawane pytania
What is Magic AI Long-Context Code Models?
Magic AI buduje pionierskie modele generowania kodu wyróżniające się wyjątkowo długimi oknami kontekstowymi, umożliwiając modelowi jednoczesne odczytanie całej bazy kodu. Ma to znaczenie, ponieważ zrozumienie oprogramowania zależy od kontekstu, a model, który może pomieścić miliony wierszy w pamięci, może wnioskować o całym projekcie, a nie o jednym pliku.
Co przede wszystkim stara się zbudować Magic AI?
Celem Magic jest zbudowanie inżyniera oprogramowania AI, a nie tylko narzędzia do autouzupełniania.
Jaki rozmiar okna kontekstowego zadeklarował Magic dla swoich modeli LTM?
Magic ogłosił obsługę okien kontekstowych zawierających do 100 milionów tokenów, czyli około 10 milionów linii kodu.
Co to jest HashHop?
HashHop używa losowych, nieściśliwych par skrótów, więc model musi rzeczywiście pobierać i łączyć informacje w różnych kontekstach.
Dlaczego naiwna uwaga transformatora jest problemem w kontekstach zawierających 100 milionów żetonów?
Koszt standardowej uwagi rośnie wraz z kwadratem długości sekwencji, więc bardzo długie konteksty są niezwykle kosztowne bez lepszych algorytmów.
Z jaką firmą Magic nawiązał współpracę w 2024 r. przy budowie superkomputerów?
Magic ogłosił partnerstwo z Google Cloud w celu budowy superkomputerów na sprzęcie Nvidia.