Co się stało
Anthropic opublikował raport szczegółowo opisujący ataki destylacyjne na dużą skalę przeprowadzane przez chińskich konkurentów AI. Firma stwierdziła, że Alibaba, Moonshot, DeepSeek, Zhipu i Xiaomi łącznie wygenerowały prawie 190 milionów szkodliwych interakcji z Claude od maja do lipca. Ataki te polegały na kierowaniu zapytań użytkowników przeznaczonych dla modeli krajowych do Claude w celu zebrania danych szkoleniowych, przy czym Alibaba obsługuje ponad 151 milionów wymian za pośrednictwem 3500 fałszywych kont.
Anthropic opublikował w czwartek raport, w którym utrzymuje, że pięć głównych chińskich laboratoriów zajmujących się sztuczną inteligencją – Alibaba, Moonshot, DeepSeek, Zhipu i Xiaomi – przeprowadziło prawie 190 milionów ataków destylacyjnych na swój model Claude w okresie od maja do lipca. Ataki destylacyjne polegają na wykorzystaniu wyników zaawansowanych modeli do szkolenia mniej zaawansowanych, skutecznie umożliwiając konkurentom wykorzystanie zastrzeżonych możliwości Anthropic bez bezpośredniej współpracy.
W raporcie wskazano, że DeepSeek i Moonshot AI przekierowały żądania użytkowników przeznaczone dla ich własnych modeli do Claude. W lipcu Anthropic odnotował 23 miliony takich przekierowań przez Moonshot i 12,1 miliona przez DeepSeek w ciągu 14 dni. Ponadto Anthropic twierdził, że niektóre z tych żądań ujawniły wrażliwe dane, w tym nagrania z telewizji przemysłowej pochodzące od użytkownika powiązanego z PLA oraz informacje z bazy danych rządu rosyjskiego przesłane przez wykonawcę wojskowego.
Alibaba została zidentyfikowana jako największy przestępca, z ponad 151 milionami wymian przeprowadzonych za pośrednictwem 3500 fałszywych kont. Konta te skłoniły Claude do wygenerowania procesów wnioskowania, które następnie wykorzystano do szkolenia modeli Qwen Alibaba. Anthropic również oskarżył Z.ai o podobny atak i zauważył, że Xiaomi nagrywało rozmowy użytkowników ze swoimi modelami MiMo i wprowadzało je do Claude w celu generowania danych treningowych.
W odpowiedzi na te zagrożenia firma Anthropic oświadczyła, że wdrożyła nowe zabezpieczenia mające na celu zakaz podejrzanych działań i zmniejszenie szczegółowości transkrypcji uzasadnień, aby ograniczyć ich użyteczność do uczenia innych modeli. Firma będzie również wymagać weryfikacji tożsamości użytkowników, którzy prawdopodobnie pochodzą z Chin, Rosji lub Iranu, czyli z regionów, w których Claude nie jest oficjalnie dostępny. Przedstawiciele oskarżonych firm nie odpowiedzieli na zapytania Business Insidera, a Anthropic nie przekazał dodatkowego komentarza poza raportem.
Szczegóły źródła: businessinsider.com ↗
Dlaczego to ma znaczenie
Ten incydent uwydatnia znaczną lukę w zabezpieczeniach i własności intelektualnej w globalnym krajobrazie sztucznej inteligencji. Wyodrębniając szczegółowe transkrypcje rozumowania, konkurenci mogą przyspieszyć rozwój własnych modeli pionierskich, potencjalnie zmniejszając lukę w możliwościach laboratoriów znajdujących się w USA. Ujawnienie wrażliwych danych rządowych i wojskowych podczas tych ataków jeszcze bardziej podkreśla ryzyko niezweryfikowanego dostępu do zaawansowanych systemów sztucznej inteligencji, co skłoniło Anthropic do wdrożenia bardziej rygorystycznych ograniczeń dotyczących weryfikacji tożsamości i wyników.
Skala tych ataków oznacza znaczny transfer własności intelektualnej i przewagi obliczeniowej. Wyodrębniając łańcuchy rozumowania, chińskie laboratoria mogą znacznie skrócić czas i koszty wymagane do opracowania konkurencyjnych modeli pionierskich, rzucając wyzwanie wiodącej pozycji technologicznej amerykańskich firm zajmujących się sztuczną inteligencją.
Narażenie wrażliwych danych rządowych i wojskowych podczas tych interakcji budzi poważne obawy dotyczące bezpieczeństwa. Sugeruje, że zaawansowane systemy sztucznej inteligencji mogą być podatne na wyciek danych w wyniku inżynierii społecznej lub fałszywego tworzenia kont, co może zagrozić interesom bezpieczeństwa narodowego wielu krajów.
Ten incydent może przyspieszyć działania regulacyjne dotyczące dostępu do modeli AI i suwerenności danych. Ustawodawcy w USA wezwali już do wprowadzenia przepisów mających na celu zaradzenie takim atakom, a niniejszy raport przedstawia konkretne dowody, które mogą wpłynąć na debaty polityczne na temat transgranicznych przepływów danych AI i kontroli eksportu.
Mechanizm interaktywny: jak to faktycznie działa
Poznaj interaktywnie technologię leżącą u podstaw tego rozwoju.
Why can ethical evaluation not be reduced to one model score?
Co obejrzeć dalej
Monitoruj reakcje legislacyjne w USA i Chinach dotyczące ekstrakcji danych AI i transgranicznego przepływu danych. Uważaj na dalsze techniczne środki zaradcze oferowane przez Anthropic i innych dostawców sztucznej inteligencji, aby zapobiec destylacji modeli. Obserwuj, czy oskarżane chińskie laboratoria publicznie odpowiadają na zarzuty lub czy niezależne audyty weryfikują skalę wycieku danych.
Zmiany legislacyjne w USA i Chinach dotyczące ekstrakcji danych AI, destylacji modeli i transgranicznej prywatności danych. USA mogą wprowadzić bardziej rygorystyczne regulacje dotyczące dostępu podmiotów zagranicznych do modeli AI, natomiast Chiny mogą zareagować własnymi środkami ochrony danych.
Techniczne środki zaradcze oferowane przez dostawców sztucznej inteligencji mające na celu zapobieganie atakom związanym z destylacją. Może to obejmować bardziej niezawodną weryfikację tożsamości, ograniczanie szybkości i zaciemnianie wyników modelu w celu zmniejszenia ich użyteczności do uczenia konkurencyjnych modeli.
Publiczne reakcje oskarżonych chińskich laboratoriów AI. Zaprzeczenie lub wyjaśnienie może zapewnić dodatkowy kontekst, podczas gdy milczenie może zostać zinterpretowane jako milczące przyznanie się. Niezależne audyty lub zewnętrzna weryfikacja skali ataku również byłyby istotne.