New York Times melaporkan dron Rusia menggunakan AI untuk memilih sasaran di Ukraine

Apa yang berlaku

BigGo Finance melaporkan, memetik The New York Times, bahawa pakar tentera dan forensik Ukraine memeriksa serpihan dron Rusia yang melanggar sebuah stesen minyak di Zaporizhzhia bulan lepas. Laporan itu mengatakan dron itu membawa komputer Nvidia Jetson Orin, menyimpan imejan rupa bumi dan model AI, dan tidak mempunyai antena komunikasi yang dikaitkan dengan sistem pandu jauh. Menurut akaun itu, dron itu menggunakan kameranya untuk mengenal pasti tangki propana dan menyerangnya secara autonomi. Serangan itu dilaporkan membunuh tiga orang awam, termasuk seorang pelajar universiti berusia 19 tahun.

BigGo Finance melaporkan bahawa The New York Times meninjau insiden di mana dron Rusia melanggar sebuah stesen minyak di Zaporizhzhia, tenggara Ukraine, pada bulan sebelumnya. Pakar tentera dan forensik Ukraine dilaporkan menganalisis serpihan dan menemui komputer mini Nvidia Jetson Orin di atas kapal. Sumber mengatakan peranti itu tidak disulitkan dan mengandungi imejan rupa bumi dan model AI. Ia juga mengatakan penyiasat tidak menemui antena komunikasi jenis yang biasanya dikaitkan dengan operasi pandu jauh. Butiran ini dibentangkan oleh BigGo Finance sebagai bukti yang dipetik dalam laporan New York Times; fail forensik asas, rekod rantaian jagaan dan analisis teknikal penuh tidak termasuk dalam sumber yang dibekalkan.

Menurut akaun itu, dron itu mengikuti laluan yang telah diprogramkan ke arah kawasan sasaran dan kemudian menggunakan input kamera untuk mencari tangki propana sebelum merempuhnya. Laporan ini membezakannya daripada penggunaan AI yang lebih terhad di mana pengendali manusia memilih sasaran dan perisian membantu dengan navigasi semasa pendekatan akhir. Dalam insiden yang dilaporkan, AI didakwa mengendalikan pengecaman sasaran dan pemilihan akhir tentang perkara yang hendak dipukul. BigGo Finance berkata sistem itu telah dilatih mengenai beribu-ribu imej untuk mengenali objek termasuk kereta kebal propana dan kenderaan tentera. Sumber tidak mengenal pasti model, set data latihan, pembangun perisian atau proses keputusan tepat yang digunakan di atas kapal.

BigGo Finance berkata mogok itu membunuh tiga orang awam, termasuk Tetiana Bubynets, yang digambarkan dalam laporan itu sebagai pelajar universiti berusia 19 tahun yang belajar perakaunan. Kateryna Bondar, yang dikenal pasti sebagai felo kanan di Pusat Kajian Strategik dan Antarabangsa, memberitahu The New York Times bahawa insiden itu merupakan bukti paling kukuh bahawa Rusia sedang menguji senjata AI autonomi. Sumber itu mengaitkan kepada Bondar penilaian bahawa ini adalah kes pertama kematian orang awam yang disahkan akibat serangan di mana AI memilih sasaran. Pencirian itu ialah penilaian pakar yang dilaporkan, bukan penemuan yang ditubuhkan secara bebas dalam bahan yang dibekalkan di sini.

Nvidia mengesahkan kepada outlet bahawa komputer itu adalah produk Jetson Orinnya, sambil berkata ia adalah komputer AI tujuan umum yang ditujukan untuk pelajar, pembangun dan syarikat pemula. Nvidia juga berkata ia pada masa ini tidak menjual kepada Rusia dan peranti itu mungkin diperoleh melalui pengedar pihak ketiga. Sumber tidak menentukan bila atau di mana komputer itu dibeli, siapa yang menyepadukannya ke dalam dron, atau sama ada Nvidia mempunyai pengetahuan tentang penggunaan ketenteraannya. Ia juga tidak menyediakan model dron, senarai penuh komponen onboard atau pengesahan bebas bahawa ketiadaan antena komunikasi menolak semua bentuk kawalan manusia luaran.

Butiran sumber: finance.biggo.com ↗

Mengapa ia penting

Jika akaun itu tepat, ia akan mewakili peralihan ketara daripada dron di mana manusia menetapkan sasaran manakala perisian onboard membantu dengan navigasi atau pendekatan akhir. Ia akan mencadangkan bahawa sistem AI digunakan untuk membuat keputusan pemilihan sasaran terakhir dalam serangan maut, menimbulkan persoalan praktikal tentang perlindungan awam, akauntabiliti dan kawalan ke atas senjata autonomi.

Insiden yang dilaporkan penting kerana ia melibatkan titik di mana penghakiman manusia dialih keluar daripada keputusan yang membawa maut. Banyak sistem ketenteraan menggunakan automasi untuk navigasi, penjejakan objek atau bantuan penyasaran sambil mengekalkan pengendali manusia yang menetapkan objek untuk diserang. Akaun yang diterangkan oleh BigGo Finance adalah berbeza secara material: sistem didakwa memilih objek itu sendiri selepas mencapai kawasan sasaran. Jika disahkan, itu akan menjadikan persepsi dan kesilapan klasifikasi AI berkaitan secara langsung dengan sama ada kemudahan awam dianggap sebagai sasaran tentera.

Risiko praktikal tidak terhad kepada sama ada perisian boleh mengenali tangki propana dalam keadaan terkawal. Persekitaran medan perang boleh mengandungi infrastruktur yang rosak, objek dikaburkan, menukar cahaya, asap, umpan dan orang berhampiran peralatan ketenteraan atau industri. Sumber tidak memberikan keputusan ujian yang menunjukkan betapa tepat sistem tertentu ini dilakukan dalam keadaan tersebut. Ia juga tidak menyatakan sama ada manusia boleh campur tangan, sama ada sistem itu mempunyai perlindungan daripada menyerang orang awam berhampiran, atau apa yang berlaku apabila bukti visualnya tidak jelas. Perkara yang tidak diketahui itu menghalang penilaian yang boleh dipercayai terhadap prestasi teknikal sistem atau tahap autonomi yang terlibat.

Episod ini juga menimbulkan persoalan akauntabiliti. Jika perisian dron memilih sasaran, tanggungjawab boleh diagihkan di kalangan orang yang mereka bentuk model, melatihnya, menyepadukannya ke dalam pesawat, membenarkan misi dan mengerahkannya. Laporan itu tidak menyelesaikan bagaimana tanggungjawab akan diberikan dalam kes ini. Kolonel Serhii Minaiev, yang dikenal pasti sebagai komander pertahanan udara Zaporizhzhia, menyifatkan perkembangan itu sebagai bahaya kepada dunia dan berkata jentera sudah membuat keputusan sama ada untuk menyerang. Kenyataan tersebut menyampaikan kebimbangan yang dilaporkan oleh BigGo Finance, tetapi mereka tidak secara bebas mewujudkan keupayaan sistem atau skala penggunaan yang lebih luas.

Sumber itu berkata Ukraine juga tidak bebas daripada pembangunan senjata autonomi. Ia dikaitkan dengan Mykhailo Fedorov, yang digambarkan sebagai bekas menteri pertahanan Ukraine, satu kenyataan bahawa Ukraine telah menguji sistem AI autonomi sepenuhnya di kawasan yang diduduki Rusia seperti Crimea. BigGo Finance tidak memberikan butiran teknikal atau pengesahan bebas untuk tuntutan tersebut. Oleh itu, ia harus dirawat secara berasingan daripada analisis forensik yang dilaporkan mengenai dron Rusia. Kedua-dua dakwaan itu bersama-sama menunjukkan mengapa bukti tentang sistem, misi dan perlindungan tertentu lebih penting daripada dakwaan luas bahawa kedua-dua pihak sedang membangunkan senjata autonomi.

Apa yang perlu ditonton seterusnya

Persoalan utama ialah sama ada penemuan forensik boleh diperiksa secara bebas, bagaimana sistem AI mengenal pasti sasaran, sama ada dron itu beroperasi secara autonomi sepanjang penglibatan, dan sejauh mana Rusia atau Ukraine menggunakan sistem serupa. Perbincangan antarabangsa mengenai senjata autonomi maut masih tidak dapat diselesaikan, menurut laporan itu.

Keutamaan pertama ialah pengesahan bebas terhadap bukti yang dilaporkan. Itu termasuk akses kepada gambar dan inventori komponen yang dipulihkan, fail tersimpan Jetson Orin, imejan rupa bumi dan artifak model, dan penjelasan teknikal tentang cara penyiasat membuat kesimpulan bahawa sistem memilih sasaran tanpa campur tangan manusia. Sumber yang dibekalkan menamakan The New York Times sebagai saluran pelapor tetapi tidak menyediakan bahan utama tersebut. Sehingga ia tersedia untuk penelitian, akaun tersebut harus disifatkan sebagai penemuan yang dilaporkan serius dan bukannya fakta yang disahkan sepenuhnya secara bebas.

Pelaporan selanjutnya harus menetapkan urutan peristiwa yang tepat. Soalan penting termasuk sama ada misi itu dirancang oleh manusia, sama ada manusia memilih kawasan sasaran umum, sama ada AI hanya memilih antara objek pra-lulus, sama ada dron menghantar sebarang data dan sama ada pengendali boleh membatalkan serangan itu. Ketiadaan antena komunikasi adalah berkaitan dengan hujah laporan, tetapi dengan sendirinya ia tidak menerangkan setiap kemungkinan kawalan atau mekanisme keselamatan. Sumber itu juga tidak menyatakan sama ada perisian dron itu diuji terhadap positif palsu atau sama ada ia mempunyai peraturan yang memerlukan pengenalan positif sebelum serangan.

Tindak balas dasar antarabangsa adalah satu lagi bidang yang perlu dipantau. BigGo Finance melaporkan bahawa Jawatankuasa Antarabangsa Palang Merah dan organisasi hak asasi manusia telah menimbulkan kebimbangan mengenai senjata autonomi yang boleh membawa maut, manakala perbincangan Pertubuhan Bangsa-Bangsa Bersatu mengenai isu itu diteruskan tanpa norma yang mengikat. Akaun itu tidak mengenal pasti perjanjian, resolusi atau tindakan kerajaan baharu akibat daripada insiden ini. Pembangunan jangka pendek yang bermakna ialah sama ada kerajaan menerbitkan peraturan mengenai kawalan manusia, memerlukan pendedahan atau semakan sistem penyasaran autonomi, atau mewujudkan mekanisme untuk menyiasat bahaya awam yang melibatkan senjata yang didayakan AI.

Akhir sekali, pemerhati harus melihat bukti tentang skala dan replikasi. Satu dron yang dilaporkan tidak mengesahkan bahawa Rusia telah menggunakan kumpulan besar sistem maut autonomi sepenuhnya, dan juga tidak menunjukkan bahawa sistem sedemikian boleh dipercayai dalam pertempuran. Sumber itu tidak membekalkan bilangan dron, lokasi penempatan selepas kejadian ini, kadar kejayaan operasi atau bukti penggunaan berulang. Ia juga tidak menentukan sama ada serangan yang dilaporkan itu adalah percubaan terpencil, sebahagian daripada program terhad atau keupayaan operasi. Jurang tersebut adalah penting untuk memahami kepentingan awam dan ketenteraan acara itu.

Panduan & kuiz berkaitan