Co się stało
Aikido Security wypuściło Altar-1, model bezpieczeństwa o otwartej wadze, wycięty z modelu GLM-5.3 o parametrach 753B. Model jest zoptymalizowany pod kątem wdrożenia w infrastrukturze prywatnej, zamkniętej lub lokalnej, szczególnie w celu obsługi autonomicznych zadań pentestingowych. Według raportu pojemność modelu zmniejszono do 328 GB, co pozwoliło zmieścić się w ograniczeniach pamięci węzła graficznego 4x NVIDIA H200, zachowując jednocześnie miejsce na pamięć podręczną KV o pojemności 128 tys. kontekstu.
Aikido Security opracowało Altar-1, stosując dwa etapy kompresji do modelu mieszanki ekspertów (MoE) z parametrem 753B GLM-5.3. Proces czyszczenia zmniejszył liczbę ekspertów z 256 do 168, zachowując logikę routingu, która wybiera 8 ekspertów na token.
Model przeznaczony jest do zasilania autonomicznego urządzenia pentestującego „Aikido Machine” firmy. Jest obecnie dostępny na Hugging Face i jest kompatybilny z vLLM, wykorzystując jądro Marlin MoE do wnioskowania.
Aikido podaje, że Altar-1 zachowuje 92% objętych luk w zabezpieczeniach z wewnętrznego testu porównawczego 32-CVE w porównaniu z modelem macierzystym, przy spadku pamięci o 5,2 punktu. Dostawca twierdzi również, że model pomyślnie zidentyfikował lukę o krytycznym znaczeniu podczas produkcyjnego testu klienta.
Szczegóły źródła: marktechpost.com ↗
Dlaczego to ma znaczenie
Altar-1 usuwa krytyczną lukę wdrożeniową w organizacjach o rygorystycznych wymaganiach dotyczących przechowywania danych, takich jak banki i operatorzy technologii operacyjnych (OT), którzy nie mogą wysyłać wrażliwego kodu źródłowego ani dokumentacji architektury do granicznych modeli opartych na chmurze. Dostarczając model, który może działać lokalnie, Aikido umożliwia tym podmiotom przeprowadzanie autonomicznej analizy bezpieczeństwa bez ujawniania zastrzeżonych danych sieciom zewnętrznym. Proces czyszczenia modelu w szczególności zachowuje parametry specjalistyczne związane z kodowaniem i ustrukturyzowanymi danymi wyjściowymi, które są niezbędne w przepływach pracy zorientowanych na bezpieczeństwo. Jednakże wydajność modelu ogranicza się do ukierunkowanego ponownego wykrywania CVE w ramach określonych potoków, a jego skuteczność w zakresie ślepego odkrywania lub sprawdzania exploitów pozostaje niepotwierdzona poza wewnętrznymi testami dostawcy.
Podstawowym narzędziem Altar-1 jest umożliwienie analizy bezpieczeństwa w środowiskach, w których przechowywanie danych jest wymogiem prawnym lub operacyjnym. Przenosząc model lokalnie, organizacje unikają ryzyka związanego z przesyłaniem wrażliwej architektury wewnętrznej i kodu źródłowego do zewnętrznych dostawców usług w chmurze.
Architektura modelu jest specjalnie dostrojona, aby zrównoważyć wykorzystanie pamięci z długotrwałymi wymaganiami kontekstowymi agentów bezpieczeństwa. Przycinając strukturę MoE, Aikido ma na celu rozwiązanie „luki wdrożeniowej”, w której modele wymagające dużej ilości pamięci często mają trudności z utrzymaniem wystarczającej przestrzeni podręcznej KV przy jednoczesnym obciążeniu modeli.
Poleganie na testach porównawczych dostarczonych przez dostawców oznacza, że wydajność modelu w świecie rzeczywistym w różnorodnych, niestandaryzowanych środowiskach bezpieczeństwa nie została jeszcze niezależnie zweryfikowana. Wąski zakres obecnego benchmarku – skupiający się na ponownym wykrywaniu CVE – sugeruje, że model ten jest obecnie wyspecjalizowanym narzędziem, a nie narzędziem do badania bezpieczeństwa ogólnego przeznaczenia.
Mechanizm interaktywny: jak to faktycznie działa
Poznaj interaktywnie technologię leżącą u podstaw tego rozwoju.
Which component of an AI application is the machine-learning model itself?
Co obejrzeć dalej
Użytkownicy powinni pamiętać, że model wymaga wysokiej klasy sprzętu, w szczególności procesorów graficznych o architekturze Hopper (H100 lub H200). Chociaż model pasuje do 4 procesorów graficznych H200, węzeł 4x H100 80 GB (łącznie 320 GB) jest niewystarczający, aby utrzymać 328 GB obciążników, co potencjalnie ogranicza dostępność w niektórych środowiskach korporacyjnych. Ponadto, chociaż model ma wagę otwartą, nie jest to oprogramowanie typu open source zatwierdzone przez OSI i podlega oryginalnej licencji GLM-5.3, która obejmuje określone ograniczenia dla dużych operatorów komercyjnych. Przyszłe zmiany obejmują potencjalne dostrojenie przepływów pracy związanych z bezpieczeństwem i eksperymentowanie z formatami o niższej liczbie bitów, takimi jak EXL3, w celu zwiększenia liczby aktywnych ekspertów.
Wymagania sprzętowe stanowią istotną barierę wejścia. Waga 328 GB wymaga konfiguracji 4x H200, co może być zbyt kosztowne lub fizycznie niedostępne dla wielu potencjalnych użytkowników.
Warunki licencji na Altar-1 zawierają klauzulę wymagającą przeglądu bezpieczeństwa ze strony Z.AI dla dowolnego operatora modelu jako usługi generującego ponad 10 miliardów dolarów rocznych przychodów, co może mieć wpływ na komercyjne przyjęcie na dużą skalę.
Aikido zasygnalizowało plany zbadania formatów o niższych bitach, takich jak EXL3. Jest to krytyczny obszar, na który należy zwrócić uwagę, ponieważ może pozwolić na większą retencję ekspertów i potencjalnie lepsze możliwości wnioskowania w przyszłych iteracjach modelu.