Chuyện gì đã xảy ra
Báo cáo của BigGo Finance, trích dẫn tờ New York Times, rằng các chuyên gia pháp y và quân sự Ukraine đã kiểm tra các mảnh vỡ từ một máy bay không người lái của Nga đã tấn công một trạm xăng ở Zaporizhzhia vào tháng trước. Báo cáo cho biết máy bay không người lái mang theo máy tính Nvidia Jetson Orin, lưu trữ hình ảnh địa hình và mô hình AI, đồng thời thiếu ăng-ten liên lạc liên kết với các hệ thống được điều khiển từ xa. Theo tài khoản, máy bay không người lái đã sử dụng camera của mình để xác định một bình chứa khí propan và tự động tấn công nó. Cuộc tấn công được cho là đã giết chết 3 thường dân, trong đó có một sinh viên đại học 19 tuổi.
BigGo Finance báo cáo rằng The New York Times đã xem xét một sự cố trong đó một máy bay không người lái của Nga đã tấn công một trạm xăng ở Zaporizhzhia, đông nam Ukraine, trong tháng trước. Các chuyên gia pháp y và quân sự Ukraina đã phân tích mảnh vỡ và tìm thấy một máy tính thu nhỏ Nvidia Jetson Orin trên tàu. Nguồn tin cho biết thiết bị này không được mã hóa và chứa hình ảnh địa hình cũng như mô hình AI. Nó cũng cho biết các nhà điều tra không tìm thấy ăng-ten liên lạc thuộc loại thường được sử dụng cho hoạt động điều khiển từ xa. Những chi tiết này được BigGo Finance trình bày làm bằng chứng được trích dẫn trong báo cáo của New York Times; các hồ sơ điều tra cơ bản, hồ sơ chuỗi hành trình và phân tích kỹ thuật đầy đủ không được đưa vào nguồn được cung cấp.
Theo tài khoản, máy bay không người lái đã đi theo lộ trình được lập trình sẵn để đến khu vực mục tiêu và sau đó sử dụng đầu vào của camera để xác định vị trí bình chứa khí propan trước khi đâm vào đó. Báo cáo phân biệt điều này với việc sử dụng AI hạn chế hơn, trong đó người điều khiển con người chọn mục tiêu và phần mềm hỗ trợ điều hướng trong quá trình tiếp cận cuối cùng. Trong vụ việc được báo cáo, AI được cho là đã xử lý việc nhận dạng mục tiêu và lựa chọn cuối cùng những gì sẽ tấn công. BigGo Finance cho biết hệ thống này đã được đào tạo dựa trên hàng nghìn hình ảnh để nhận dạng các vật thể bao gồm xe tăng khí propan và xe quân sự. Nguồn không xác định mô hình, tập dữ liệu huấn luyện, nhà phát triển phần mềm hoặc quy trình quyết định chính xác được sử dụng trên tàu.
BigGo Finance cho biết cuộc tấn công đã giết chết 3 thường dân, trong đó có Tetiana Bubynets, được mô tả trong báo cáo là sinh viên đại học 19 tuổi đang học kế toán. Kateryna Bondar, được xác định là thành viên cấp cao tại Trung tâm Nghiên cứu Chiến lược và Quốc tế, nói với tờ New York Times rằng vụ việc là bằng chứng mạnh mẽ nhất cho thấy Nga đang thử nghiệm vũ khí AI tự động. Nguồn tin cho Bondar đánh giá rằng đây là trường hợp dân sự thiệt mạng đầu tiên được xác nhận do một cuộc tấn công trong đó AI đã chọn mục tiêu. Đặc điểm đó là đánh giá của chuyên gia được báo cáo, không phải là phát hiện được xác lập độc lập trong tài liệu được cung cấp ở đây.
Nvidia đã xác nhận với hãng rằng máy tính này là sản phẩm Jetson Orin của họ, đồng thời cho biết đây là máy tính AI đa năng dành cho sinh viên, nhà phát triển và người khởi nghiệp. Nvidia cũng cho biết họ hiện không bán sang Nga và thiết bị này có thể được mua thông qua các nhà phân phối bên thứ ba. Nguồn không xác định thời điểm và địa điểm máy tính được mua, ai đã tích hợp nó vào máy bay không người lái hoặc liệu Nvidia có biết gì về việc sử dụng nó trong quân sự hay không. Nó cũng không cung cấp kiểu máy bay không người lái, danh sách đầy đủ các bộ phận trên máy bay hoặc xác nhận độc lập rằng việc không có ăng-ten liên lạc đã loại trừ tất cả các hình thức kiểm soát bên ngoài của con người.
Chi tiết nguồn: finance.biggo.com ↗
Tại sao nó quan trọng
Nếu tài khoản là chính xác, nó sẽ thể hiện một sự thay đổi đáng kể từ máy bay không người lái trong đó con người chỉ định mục tiêu trong khi phần mềm trên máy bay hỗ trợ điều hướng hoặc cách tiếp cận cuối cùng. Nó gợi ý rằng một hệ thống AI đã được sử dụng để đưa ra quyết định lựa chọn mục tiêu cuối cùng trong một cuộc tấn công chết người, đặt ra những câu hỏi thực tế về bảo vệ dân sự, trách nhiệm giải trình và kiểm soát vũ khí tự động.
Vụ việc được báo cáo có ý nghĩa quan trọng vì nó liên quan đến thời điểm mà sự phán xét của con người bị loại bỏ khỏi một quyết định gây chết người. Nhiều hệ thống quân sự sử dụng tự động hóa để điều hướng, theo dõi đối tượng hoặc hỗ trợ nhắm mục tiêu trong khi vẫn duy trì người điều hành là người chỉ định đối tượng bị tấn công. Tài khoản được BigGo Finance mô tả có sự khác biệt đáng kể: hệ thống được cho là đã tự chọn đối tượng sau khi tiếp cận khu vực mục tiêu. Nếu được xác minh, điều đó sẽ làm cho nhận thức và lỗi phân loại của AI có liên quan trực tiếp đến việc liệu một cơ sở dân sự có được coi là mục tiêu quân sự hay không.
Rủi ro thực tế không chỉ giới hạn ở việc phần mềm có thể nhận ra bình chứa khí propan trong điều kiện được kiểm soát hay không. Môi trường chiến trường có thể chứa cơ sở hạ tầng bị hư hỏng, vật thể bị che khuất, ánh sáng thay đổi, khói, mồi nhử và con người ở gần thiết bị quân sự hoặc công nghiệp. Nguồn không đưa ra kết quả kiểm tra nào cho thấy hệ thống cụ thể này hoạt động chính xác như thế nào trong các điều kiện đó. Nó cũng không cho biết liệu con người có thể can thiệp hay không, liệu hệ thống có các biện pháp bảo vệ chống lại việc tấn công dân thường gần đó hay không, hay điều gì đã xảy ra khi bằng chứng trực quan của nó không rõ ràng. Những điều chưa biết đó cản trở việc đánh giá đáng tin cậy về hiệu suất kỹ thuật của hệ thống hoặc mức độ tự chủ liên quan.
Tập phim cũng đặt ra câu hỏi về trách nhiệm giải trình. Nếu phần mềm của máy bay không người lái chọn mục tiêu, trách nhiệm có thể được phân bổ giữa những người đã thiết kế mô hình, huấn luyện mô hình, tích hợp nó vào máy bay, ủy quyền thực hiện nhiệm vụ và triển khai nó. Báo cáo không giải quyết trách nhiệm sẽ được phân công như thế nào trong trường hợp này. Đại tá Serhii Minaiev, được xác định là chỉ huy lực lượng phòng không Zaporizhzhia, mô tả diễn biến này là mối nguy hiểm cho thế giới và cho biết máy móc đã quyết định có nên tấn công hay không. Những nhận xét đó truyền tải mối quan ngại mà BigGo Finance báo cáo, nhưng chúng không xác lập một cách độc lập khả năng của hệ thống hoặc quy mô triển khai rộng hơn.
Nguồn tin cho biết Ukraine cũng không thoát khỏi việc phát triển vũ khí tự động. Nó quy cho Mykhailo Fedorov, được mô tả là cựu bộ trưởng quốc phòng Ukraine, tuyên bố rằng Ukraine đã thử nghiệm các hệ thống AI tự trị hoàn toàn ở các khu vực do Nga chiếm đóng như Crimea. BigGo Finance không cung cấp chi tiết kỹ thuật hoặc chứng thực độc lập cho tuyên bố đó. Do đó, nó nên được xử lý riêng biệt với phân tích pháp y được báo cáo về máy bay không người lái của Nga. Hai tuyên bố này cùng nhau cho thấy lý do tại sao bằng chứng về các hệ thống, nhiệm vụ và biện pháp bảo vệ cụ thể lại quan trọng hơn những khẳng định rộng rãi rằng một trong hai bên đang phát triển vũ khí tự động.
Cơ chế tương tác: Nó thực sự hoạt động như thế nào
Khám phá công nghệ cơ bản đằng sau sự phát triển này một cách tương tác.
crm_get_transaction(id='4092').An agent must create a draft calendar event for Tuesday at 2 p.m. Which evidence would establish the requested result?
Xem gì tiếp theo
Các câu hỏi trọng tâm là liệu các phát hiện pháp y có thể được kiểm tra độc lập hay không, hệ thống AI xác định mục tiêu như thế nào, liệu máy bay không người lái có hoạt động tự động trong suốt cuộc giao chiến hay không và Nga hoặc Ukraine đang triển khai các hệ thống tương tự ở mức độ rộng rãi như thế nào. Theo báo cáo, các cuộc thảo luận quốc tế về vũ khí tự động sát thương vẫn chưa được giải quyết.
Ưu tiên hàng đầu là xác minh độc lập các bằng chứng được báo cáo. Điều đó sẽ bao gồm quyền truy cập vào các bức ảnh và bản kiểm kê các thành phần được phục hồi, các tệp được lưu trữ của Jetson Orin, hình ảnh địa hình và các tạo tác mô hình cũng như giải thích kỹ thuật về cách các nhà điều tra suy luận rằng hệ thống đã chọn mục tiêu mà không cần sự can thiệp của con người. Nguồn được cung cấp tên The New York Times là cơ quan đưa tin nhưng không cung cấp những tài liệu chính đó. Cho đến khi chúng được xem xét kỹ lưỡng, tài khoản phải được mô tả như một phát hiện được báo cáo nghiêm túc thay vì một sự thật được xác minh hoàn toàn độc lập.
Báo cáo sâu hơn sẽ thiết lập trình tự chính xác của các sự kiện. Các câu hỏi quan trọng bao gồm liệu nhiệm vụ có được lên kế hoạch bởi con người hay không, liệu con người có chọn khu vực mục tiêu chung hay không, liệu AI chỉ chọn trong số các đối tượng được phê duyệt trước hay không, liệu máy bay không người lái có truyền bất kỳ dữ liệu nào không và liệu người điều khiển có thể hủy bỏ cuộc tấn công hay không. Sự vắng mặt của ăng-ten liên lạc có liên quan đến lập luận của báo cáo, nhưng bản thân nó không mô tả mọi cơ chế kiểm soát hoặc an toàn có thể có. Nguồn tin cũng không cho biết liệu phần mềm của máy bay không người lái đã được kiểm tra kết quả dương tính giả hay liệu nó có quy tắc yêu cầu nhận dạng tích cực trước khi tấn công hay không.
Phản ứng chính sách quốc tế là một lĩnh vực khác cần theo dõi. BigGo Finance báo cáo rằng Ủy ban Chữ thập đỏ quốc tế và các tổ chức nhân quyền đã nêu lên mối lo ngại về vũ khí tự động gây chết người, trong khi các cuộc thảo luận của Liên hợp quốc về vấn đề này vẫn tiếp tục mà không có các quy định ràng buộc. Tài khoản không xác định hiệp ước, nghị quyết hoặc hành động mới của chính phủ phát sinh từ sự cố này. Sự phát triển có ý nghĩa trong ngắn hạn sẽ là liệu các chính phủ có công bố các quy tắc về kiểm soát con người, yêu cầu tiết lộ hoặc xem xét các hệ thống nhắm mục tiêu tự động hay tạo ra các cơ chế điều tra tác hại dân sự liên quan đến vũ khí hỗ trợ AI hay không.
Cuối cùng, người quan sát nên theo dõi bằng chứng về quy mô và khả năng nhân rộng. Một máy bay không người lái được báo cáo không chứng minh rằng Nga đã triển khai một đội lớn các hệ thống sát thương tự động hoàn toàn, cũng như không chứng minh rằng những hệ thống như vậy là đáng tin cậy trong chiến đấu. Nguồn không cung cấp số lượng máy bay không người lái, địa điểm triển khai ngoài sự cố này, tỷ lệ hoạt động thành công hoặc bằng chứng về việc sử dụng nhiều lần. Nó cũng không xác định liệu cuộc tấn công được báo cáo là một thử nghiệm biệt lập, một phần của chương trình giới hạn hay khả năng hoạt động. Những khoảng trống đó là trọng tâm để hiểu được ý nghĩa công cộng và quân sự của sự kiện này.