Co się stało
Seoul Economic Daily donosi, że siły ukraińskie odzyskały rosyjskiego drona po tym, jak w zeszłym miesiącu uderzył w zbiorniki z propanem na stacji benzynowej w Zaporożu. Powołując się na „The New York Times”, ukraińskich urzędników wojskowych oraz ekspertów w dziedzinie dronów i kryminalistyki cyfrowej, w raporcie stwierdzono, że samolotowi brakowało anteny do komunikacji zewnętrznej i był wyposażony w platformę obliczeniową Jetson Orin firmy Nvidia. Zgłoszone dowody sugerują, że dron wykorzystywał obrazy pokładowe i sztuczną inteligencję do nawigacji, identyfikacji celu i ataku bez wybierania ostatecznego celu przez człowieka.
Seoul Economic Daily donosi, że dron odzyskany przez siły ukraińskie po ataku na zbiorniki z propanem na stacji benzynowej w Zaporożu został zbadany przez ukraińskich urzędników wojskowych oraz ekspertów w dziedzinie dronów i kryminalistyki cyfrowej. Gazeta twierdzi, że relacja opiera się na doniesieniach „The New York Times”, który powołuje się na tych urzędników i ekspertów. W dostarczonym raporcie nie wskazano dokładnej daty ataku poza informacją, że miał on miejsce w zeszłym miesiącu, ani nie podano nazwy modelu drona, numeru seryjnego ani publicznie dostępnego raportu technicznego.
Według relacji „Seoul Economic Daily” odzyskany samolot nie miał anteny umożliwiającej komunikację z otoczeniem. Podobno zawierał Jetson Orin firmy Nvidia, małą platformę obliczeniową zaprojektowaną do lokalnego uruchamiania obciążeń AI, zamiast polegać na połączeniu z chmurą. Jak podaje portal, analiza chipa znalazła niezaszyfrowane obrazy terenu przechowywane na pokładzie. Według doniesień obrazy te były wykorzystywane do śledzenia celów i utrzymywania toru lotu samolotu, natomiast ukraińskie władze wojskowe stwierdziły, że system został przeszkolony w zakresie identyfikowania i atakowania określonych typów celów, w tym zbiorników z propanem.
Zgłoszone rozróżnienie dotyczy pomocy AI i autonomicznego celowania. Seoul Economic Daily podaje, że wiele dronów wojskowych wykorzystuje sztuczną inteligencję do nawigacji lub śledzenia celu, podczas gdy operator nadal wybiera cel i wchodzi do niego lub potwierdza atak. W zgłoszonym przypadku ocenia się, że dron poleciał w kierunku mniej więcej wcześniej ustalonej lokalizacji, a następnie wykorzystał pokładową sztuczną inteligencję do zidentyfikowania i zaatakowania celu bez bezpośredniej interwencji człowieka. Punkt sprzedaży przedstawia to jako ocenę opartą na rozbiórce i powiązanych raportach, a nie jako niezależne ustalenie wykazane w dostarczonym artykule.
Seoul Economic Daily donosi również, że płytka drukowana zawierająca chip Nvidia została oznaczona jako „Made in China” i że obserwatorzy branży uważają, że Rosja uzyskała ten komponent w drodze odsprzedaży na rynku wtórnym. Jak podaje portal Nvidia, Jetson Orin to produkt klasy podstawowej przeznaczony dla studentów, programistów i start-upów, który nie jest sprzedawany bezpośrednio do Rosji. Źródło nie ustala, kto zbudował kompletny dron, kto napisał oprogramowanie namierzające, w jaki sposób komponent został nabyty ani czy Nvidia miał jakąkolwiek wiedzę na temat jego zastosowań wojskowych.
Szczegóły źródła: en.sedaily.com ↗
Dlaczego to ma znaczenie
Jeśli relacja jest dokładna, oznaczałoby to znaczącą zmianę w porównaniu z dronami wojskowymi wspomaganymi sztuczną inteligencją, w których człowiek zazwyczaj wybiera lub potwierdza cel. Pokazałoby również, że stosunkowo kompaktowy, dostępny na rynku sprzęt do obliczeń brzegowych może obsługiwać funkcje autonomiczne w śmiercionośnym systemie. Dostarczony raport nie określa w sposób niezależny kompletnego oprogramowania drona, jego niezawodności, struktury dowodzenia, zasad wyboru celu ani zgodności z międzynarodowym prawem humanitarnym.
Zgłoszone wdrożenie ma znaczenie, ponieważ dotyczy przeniesienia śmiercionośnej decyzji od operatora-człowieka do pokładowego algorytmu. Konwencjonalne systemy zdalnie sterowane mogą nadal stwarzać poważne ryzyko, ale generalnie to człowiek ponosi odpowiedzialność za wybór lub potwierdzenie celu. Seoul Economic Daily twierdzi, że opisany tutaj dron sam podjął zarówno decyzję o identyfikacji, jak i ataku. Zwiększyłoby to poziom odpowiedzialności i obaw związanych z weryfikacją, zwłaszcza gdy system działa bez aktywnego łącza komunikacyjnego.
Incydent ilustruje również, jak autonomiczny system można złożyć z dostępnych na rynku części, a nie ze specjalnie zaprojektowanej platformy uzbrojenia, reklamowanej publicznie jako system sztucznej inteligencji. Platforma Jetson Orin została opisana przez Nvidia jako podstawowy produkt do obliczeń brzegowych dla studentów, programistów i start-upów. Z dostarczonego sprawozdania nie wynika, że platforma sama spowodowała strajk lub była przeznaczona do użycia broni; pokazuje jedynie relację outletu, że komponent został znaleziony wewnątrz odzyskanego drona. Szerszą kwestią praktyczną jest to, czy zwykły sprzęt komputerowy można przekierować do systemów, których zachowanie jest trudne do monitorowania po wdrożeniu.
Rozpoznawanie celów w oparciu o zdobyte dane stwarza pytania operacyjne i prawne, które raport pozostawia nierozwiązanych. Z dostarczonego konta wynika, że dron został przeszkolony w zakresie rozpoznawania zbiorników z propanem, ale nie ujawnia danych szkoleniowych, poziomu błędów, warunków środowiskowych, zabezpieczeń przed błędną identyfikacją ani procedur postępowania z cywilami i pobliskimi obiektami. Nie ustala również, czy cel został prawidłowo sklasyfikowany, czy uderzenie spowodowało ofiary lub szkody wykraczające poza zgłoszony obiekt, ani czy przed wystrzeleniem człowiek odgrywał jakąkolwiek pośrednią rolę.
Seoul Economic Daily wpisuje zgłoszony strajk w dłuższą historię obaw związanych z bronią autonomiczną, powołując się na raport Organizacji Narodów Zjednoczonych na temat Libii, w którym opisano przesłanki wskazujące na to, że w 2020 r. niektóre drony śledziły i atakowały uzbrojonych bojowników i wycofujących się bojowników. Porównanie to nie dowodzi niezależnie, że dron Zaporoże był w pełni autonomiczny, ani nie ustala, że systemy te były technicznie równoważne. Ważną zmianą, o której tu mowa, jest połączenie rzekomego rozpoznawania celów na pokładzie, lokalnych obliczeń i braku bezpośredniej komunikacji podczas misji.
Mechanizm interaktywny: jak to faktycznie działa
Poznaj interaktywnie technologię leżącą u podstaw tego rozwoju.
crm_get_transaction(id='4092').Why can ethical evaluation not be reduced to one model score?
Co obejrzeć dalej
Kluczowym kolejnym krokiem jest niezależna weryfikacja techniczna i bojowa odzyskanego samolotu, jego oprogramowania i okoliczności uderzenia. Uważaj na potwierdzenia ze strony władz ukraińskich, władz rosyjskich, niezależnych specjalistów medycyny sądowej, organizacji międzynarodowych lub dodatkowych raportów opartych na tych samych dowodach rzeczowych. Obserwuj także, czy rządy i organy kontrolujące zbrojenia odpowiadają, przedstawiając jaśniejsze wymagania dotyczące znaczącej kontroli człowieka nad bronią autonomiczną oraz kontroli nielegalnego wykorzystywania komercyjnego sprzętu sztucznej inteligencji.
Najważniejszą kwestią weryfikacyjną jest to, czy odzyskany sprzęt i przechowywane obrazy mogą zostać zbadane przez niezależnych ekspertów. Wiarygodne dalsze działania pozwoliłyby wyjaśnić czujniki statku powietrznego, system nawigacji, oprogramowanie, masę modeli, sprzęt komunikacyjny, dzienniki misji i wszelkie dowody autoryzacji człowieka. Dostarczone źródło podaje, że chip został przeanalizowany, ale nie publikuje podstawowych materiałów kryminalistycznych, metodologii ani łańcucha dostaw. Pominięcia te ograniczają to, co można wyciągnąć z rachunku.
Szukaj dowodów na temat roli człowieka w misji. „W pełni autonomiczny” może odnosić się do kilku różnych rozwiązań, w tym systemu, który otrzymuje kategorię celu przed wystrzeleniem, systemu, który wybiera konkretny obiekt w miejscu docelowym, lub systemu, który może zmienić swoją misję po wystrzeleniu. Źródło sugeruje, że dron został wysłany w stronę ustalonej lokalizacji, a następnie wybrał i zaatakował cel, ale nie wyjaśnia, czy dana osoba zatwierdziła kategorię celu, przejrzała zdjęcia, ustaliła ograniczenia geograficzne lub zachowała środki interwencji.
Zgłoszone użycie płytki z chińskim oznaczeniem i komercyjnej platformy Nvidia może skłonić do zbadania łańcuchów dostaw na rynku wtórnym, kontroli eksportu i monitorowania końcowego zastosowania. Taka analiza powinna odróżnić zwykłe możliwości produktu do obliczeń brzegowych od konkretnej integracji i oprogramowania, które według doniesień zamieniły go w część autonomicznej broni. Dostarczony artykuł nie stwierdza naruszenia prawa eksportowego, sankcji ani polityki Nvidia.
Wreszcie należy monitorować reakcje dyplomatyczne i prawne. Rządy, Organizacja Narodów Zjednoczonych i grupy kontrolujące zbrojenia mogą spotkać się z presją, aby zdefiniować, co liczy się jako znacząca kontrola człowieka, jakie zapisy należy przechowywać po autonomicznym uderzeniu i w jaki sposób przypisuje się odpowiedzialność, gdy algorytm wybiera cel. Dopóki niezależne dowody nie wyjaśnią możliwości systemu i okoliczności ataku w Zaporożu, główne twierdzenie należy w dalszym ciągu przypisywać raportowi Seoul Economic Daily i przekazywanym przez niego dziennikowi „The New York Times”, a nie traktować go jako ostatecznie ustalony fakt.