Chuyện gì đã xảy ra
SecurityBrief Australia báo cáo rằng AIBUILD có trụ sở tại Melbourne đã ra mắt Trình xác minh nội dung AI được thiết kế để đánh giá xem văn bản, hình ảnh, âm thanh và video là xác thực, bị thao túng hay do AI tạo ra. Công ty cho biết hệ thống này đã được sử dụng trong các hoạt động của chính phủ và đã được đào tạo về hàng nghìn thông tin liên lạc của công ty và chính phủ. AIBUILD cũng trích dẫn thử nghiệm nội bộ của 600 hình ảnh liên quan đến chính phủ, khẳng định khả năng phát hiện 98% đến 100% hình ảnh đã được sửa đổi bằng AI và tỷ lệ dương tính giả là 1% hoặc thấp hơn đối với hình ảnh xác thực. Báo cáo không xác minh độc lập những tuyên bố đó.
SecurityBrief Australia báo cáo rằng AIBUILD, một công ty ở Melbourne, đã ra mắt Trình xác minh nội dung AI nhằm xác định các thông tin liên lạc đáng ngờ hoặc do AI tạo ra. Sản phẩm được mô tả là đa phương thức: nó xem xét văn bản, hình ảnh, âm thanh và video cùng nhau thay vì chỉ đánh giá ngôn ngữ viết. Theo báo cáo, hệ thống tìm kiếm sự không nhất quán trong ngôn ngữ, cấu trúc, nguồn gốc và mẫu nội dung. Mô tả đó định vị công cụ này như một lớp xác minh cho các thông tin liên lạc có vẻ hợp pháp, thay vì như một bộ lọc thư rác thông thường chỉ tập trung vào văn bản tin nhắn.
Báo cáo cho biết AIBUILD tuyên bố người xác minh đã được đào tạo về hàng nghìn thông tin liên lạc của công ty và chính phủ. Công ty cho biết việc đào tạo nhằm giúp hệ thống phân biệt tin nhắn chính thức với tài liệu được tạo hoặc thay đổi bằng các công cụ AI. SecurityBrief Australia cũng báo cáo rằng AIBUILD cho biết hệ thống này đã được sử dụng trong các hoạt động của chính phủ, nhưng bài báo không nêu tên các cơ quan, mô tả cài đặt vận hành hoặc giải thích liệu mục đích sử dụng được tuyên bố là thí điểm, đánh giá nội bộ hay triển khai rộng hơn. Không có tài liệu chính công khai hoặc bằng chứng triển khai độc lập nào được cung cấp trong nguồn.
AIBUILD trích dẫn thử nghiệm nội bộ liên quan đến 600 hình ảnh từ thông tin liên lạc của chính phủ, bao gồm cả tài liệu được tạo ra bởi những gì công ty mô tả là các mô hình AI hàng đầu. SecurityBrief Australia báo cáo tuyên bố của AIBUILD rằng hệ thống đã xác định chính xác các hình ảnh được AI sửa đổi trong 98% đến 100% thời gian và tạo ra tỷ lệ dương tính giả từ 1% trở xuống đối với hình ảnh xác thực. Đây là kết quả do công ty báo cáo, không phải kết quả được xác minh độc lập. Báo cáo không giải thích quy trình lựa chọn hình ảnh, sự cân bằng giữa hình ảnh xác thực và hình ảnh đã được sửa đổi, định nghĩa về nhận dạng chính xác hoặc liệu tập kiểm tra có được loại bỏ khỏi quá trình đào tạo hay không.
Buổi ra mắt sản phẩm được trình bày trong bối cảnh thua lỗ do lừa đảo ở Úc. SecurityBrief Australia cho biết AIBUILD trích dẫn số liệu của Ủy ban Cạnh tranh và Người tiêu dùng Australia cho thấy khoản lỗ 2,18 tỷ AUD trong năm qua, tăng 7,8%, trong đó các vụ lừa đảo đầu tư chiếm tới 837,7 triệu AUD. Báo cáo cũng cho biết AIBUILD đã trích dẫn ước tính thiệt hại khoảng 25,8 triệu đô la Úc ở Úc trong nửa đầu năm 2025 do các vụ lừa đảo liên quan đến nhân bản giọng nói tổng hợp AI. Những số liệu đó được thể hiện qua khung của AIBUILD; nguồn không xác minh độc lập các tính toán hoặc xác định tổng số hoạt động lừa đảo mà người xác minh có thể giải quyết.
Chi tiết nguồn: securitybrief.com.au ↗
Tại sao nó quan trọng
Việc ra mắt giải quyết một vấn đề bảo mật thực tế: lừa đảo mạo danh có thể kết hợp ngôn ngữ thuyết phục, thương hiệu, quyền truy cập tài khoản và giọng nói tổng hợp. SecurityBrief Australia báo cáo rằng một chủ doanh nghiệp đã mô tả những kẻ tấn công thay đổi chi tiết ngân hàng sau khi chiếm đoạt một tài khoản đáng tin cậy. Trình xác minh kiểm tra một số loại phương tiện có thể thêm một bước xem xét khác, nhưng báo cáo không cung cấp bằng chứng độc lập nào cho thấy hệ thống của AIBUILD ngăn chặn gian lận, hoạt động đáng tin cậy bên ngoài bộ thử nghiệm hoặc thay thế các biện pháp kiểm soát tài khoản và thanh toán mạnh mẽ hơn.
Vấn đề bảo mật trọng tâm là các cuộc tấn công mạo danh hiện đại có thể không dựa vào một email đáng ngờ nào. SecurityBrief Australia báo cáo rằng những kẻ lừa đảo đang kết hợp giọng nói nhân bản, thương hiệu thực tế và hệ thống kinh doanh bị xâm phạm để làm cho các thông tin liên lạc sai lệch có vẻ đáng tin cậy. Do đó, một tin nhắn có thể vượt qua quá trình kiểm tra ngôn ngữ hoặc hình ảnh cơ bản trong khi vẫn hướng nạn nhân tới một khoản thanh toán hoặc tiết lộ gian lận. Một công cụ xem xét nhiều loại phương tiện có thể hữu ích khi văn bản, hình ảnh, âm thanh và ngữ cảnh cần được đánh giá cùng nhau.
Báo cáo bao gồm một tài khoản trường hợp của Michael Wilczynski, chủ sở hữu của National Accounts Group. Thông qua AIBUILD, Wilczynski cho biết những kẻ tấn công đóng giả là đối tác kinh doanh đáng tin cậy, gửi email qua máy chủ của nhà cung cấp phần mềm kế toán, đánh bại xác thực đa yếu tố sau khi chiếm đoạt tài khoản và thay đổi chi tiết ngân hàng để thanh toán hợp pháp chuyển sang tài khoản lừa đảo. Lời kể của anh ấy là lời chứng thực được báo cáo từ nguồn, không phải là một nghiên cứu điển hình được điều tra độc lập trong bài báo. Mặc dù vậy, nó minh họa lý do tại sao việc xác minh tin nhắn và kiểm soát bảo mật tài khoản lại giải quyết các phần khác nhau của cùng một cuộc tấn công.
Wilczynski cũng cho biết lời khuyên thông thường là gọi điện và xác nhận các chi tiết thanh toán đã thay đổi đang chịu áp lực từ công nghệ nhân bản giọng nói. SecurityBrief Australia báo cáo mối lo ngại của mình rằng một nhân viên tài chính có thể không còn tin tưởng được người gọi tự xưng là nhà cung cấp hoặc giám đốc. Đây là một ý nghĩa thực tế của phương tiện tổng hợp: một giọng nói quen thuộc có thể củng cố một hướng dẫn gian lận, trong khi các tài khoản bị xâm phạm có thể khiến cho văn bản giao tiếp có vẻ xác thực. Nguồn không cho thấy rằng sản phẩm của AIBUILD đã phát hiện thành công hoặc ngăn chặn cuộc tấn công cụ thể được mô tả.
Do đó, giá trị công khai của lần ra mắt phụ thuộc vào cách người xác minh thực hiện trong điều kiện hoạt động thực tế. Kết quả cao trên bộ hình ảnh nội bộ sẽ không tự nó thiết lập khả năng phát hiện đáng tin cậy về các cuộc tấn công âm thanh, video, đa phương tiện, nội dung mới được tạo hoặc các nỗ lực cố tình trốn tránh hệ thống. Báo cáo cũng không cho thấy kết quả xác minh được tích hợp với phê duyệt thanh toán, khôi phục danh tính, kiểm soát truy cập hoặc đánh giá của con người. Sản phẩm có thể bổ sung bằng chứng hữu ích trước khi ai đó hành động, nhưng báo cáo có sẵn không biện minh cho việc coi đó là biện pháp bảo vệ độc lập chống lại gian lận.
Cơ chế tương tác: Nó thực sự hoạt động như thế nào
Khám phá công nghệ cơ bản đằng sau sự phát triển này một cách tương tác.
Which component of an AI application is the machine-learning model itself?
Xem gì tiếp theo
Các câu hỏi quan trọng tiếp theo là liệu hiệu suất được tuyên bố của AIBUILD có phù hợp với các trò lừa đảo, giọng nói, ngôn ngữ, định dạng nén và nội dung đối nghịch mới hay không; cách hệ thống xử lý các kết quả dương tính giả; và nơi nó thực sự được triển khai. Nguồn không xác định người dùng chính phủ, mô hình AI được đánh giá, phương pháp thử nghiệm, tính sẵn có của sản phẩm, giá cả, phương pháp lưu giữ dữ liệu hoặc đánh giá độc lập. Những khoảng trống đó làm cho thông báo trở nên phù hợp khi ra mắt sản phẩm, nhưng hạn chế những gì có thể kết luận về hiệu quả trong thế giới thực.
Ưu tiên hàng đầu là xác nhận độc lập. Nguồn chỉ báo cáo kết quả kiểm tra hình ảnh của AIBUILD và không nêu tên kiểm toán viên bên ngoài, công bố điểm chuẩn hoặc cung cấp phương pháp có thể tái tạo. Báo cáo trong tương lai sẽ xác định hiệu suất thay đổi như thế nào khi nội dung được nén, chỉnh sửa, dịch, ghi lại hoặc tạo bởi các mô hình không được trình bày trong đào tạo. Nó cũng nên tách biệt việc phát hiện việc tạo ra AI với việc phát hiện mục đích độc hại, vì tài liệu xác thực có thể được sử dụng trong bối cảnh lừa đảo và tài liệu do AI tạo ra không nhất thiết là một trò lừa đảo.
Chi tiết triển khai sẽ quyết định ý nghĩa thực tế của sản phẩm. AIBUILD cho biết trình xác minh đang được sử dụng trong các hoạt động của chính phủ, nhưng SecurityBrief Australia không xác định các cơ quan, quy trình làm việc hoặc quyền quyết định liên quan. Không rõ liệu hệ thống có đưa ra cảnh báo cho người đánh giá, chặn giao dịch, chấm điểm nội dung để điều tra hay hoạt động theo cách khác hay không. Báo cáo cũng không nêu rõ liệu sản phẩm có sẵn cho doanh nghiệp hay người tiêu dùng hay không, giá thành bao nhiêu hoặc yêu cầu tích hợp kỹ thuật gì.
Các câu hỏi về quyền riêng tư và quản trị vẫn còn bỏ ngỏ vì hệ thống này được thiết kế để kiểm tra các thông tin liên lạc có thể chứa thông tin cá nhân, chính phủ hoặc doanh nghiệp nhạy cảm. Nguồn không mô tả việc lưu giữ dữ liệu, quyền truy cập của khách hàng, việc sử dụng đào tạo mô hình, thẩm quyền, xử lý các kết quả dương tính giả hoặc các thủ tục để thách thức kết quả. Những vấn đề đó đặc biệt quan trọng nếu trình xác minh được sử dụng để gắn cờ các thông tin liên lạc hợp pháp, giám sát nhân viên, đánh giá tin nhắn của công dân hoặc ảnh hưởng đến quyết định thanh toán. Không có cách thực hành nào trong số này có thể được suy ra từ báo cáo khởi động.
Thử nghiệm rộng hơn sẽ là liệu trình xác minh có hoạt động như một phần của chương trình gian lận nhiều lớp hay không. Trường hợp kinh doanh được báo cáo cho thấy xác thực đa yếu tố và xác minh cuộc gọi quen thuộc có thể thất bại khi kẻ tấn công xâm phạm các hệ thống đáng tin cậy và khai thác các quy trình đã thiết lập. Các tổ chức đang xem xét các công cụ như vậy sẽ cần bằng chứng về cách cảnh báo tương tác với xác nhận thanh toán, phản hồi tiếp quản tài khoản và các kênh xác minh độc lập. Hiện tại, báo cáo thiết lập một đợt ra mắt sản phẩm cụ thể và thử nghiệm do công ty báo cáo, trong khi vẫn chưa giải quyết được tính hiệu quả, việc áp dụng và các biện pháp bảo vệ trong thế giới thực.