HƯỚNG DẪN AI âm thanh

Các cuộc tấn công bất lợi vào nhận dạng giọng nói

Một mẫu âm thanh đối nghịch được cố tình thay đổi để khiến trình nhận dạng giọng nói xuất ra bản ghi sai, đôi khi có âm thanh giống với âm thanh của người nghe.

Nghe hướng dẫn nàyAI thuật lại · ~3 min

Trên trang nàyĐọc trong 3 phút
  1. Tổng quan
  2. Lặn sâu
  3. Triển khai trong thế giới thực
  4. Tương lai của các cuộc tấn công bất lợi vào nhận dạng giọng nói
  5. Đưa nó vào thực tế
  6. Tiếp tục khám phá
  7. Câu hỏi thường gặp

Tổng quan

Nghiên cứu đã chứng minh các cuộc tấn công nhắm mục tiêu theo mô hình cụ thể, nhưng thành công trong phòng thí nghiệm không có nghĩa là việc truyền tải đáng tin cậy qua mọi diễn giả hoặc phòng. Các hệ thống mạnh mẽ kiểm tra các nhiễu loạn thực tế và tránh tác động lên bản ghi mà không có xác nhận cần thiết.

Lặn sâu

Trình nhận dạng giọng nói có thể mắc những lỗi thông thường do tiếng ồn, trọng âm hoặc giọng nói chồng chéo. Một ví dụ đối nghịch thì khác: nó được cố ý tạo ra để đẩy một mô hình đến một lỗi đã chọn. Nghiên cứu năm 2018 của Carlini và Wagner đã chứng minh những thay đổi về dạng sóng có mục tiêu đối với một hệ thống chuyển giọng nói thành văn bản nguồn mở cụ thể trong cài đặt kỹ thuật số hộp trắng. Phát hiện đó đã thiết lập một chế độ thất bại chứ không phải là một cách phổ biến để kiểm soát mọi thiết bị nhận dạng trong một phòng. Bản ghi âm được phát qua loa phải đối mặt với tiếng vang, quá trình xử lý thiết bị và các thay đổi khác có thể làm thay đổi cuộc tấn công. Bài học chính cho một sản phẩm là xác định mô hình mối đe dọa. Kẻ tấn công có kiểm soát tệp đã tải lên, loa gần đó hoặc cuộc gọi trực tiếp không? Họ có thể truy vấn trình nhận dạng hoặc biết mô hình của nó không? Hệ thống chỉ ghi lại hay bản ghi có thể kích hoạt mua hàng, mở khóa hoặc hành động khác? Các cài đặt khác nhau yêu cầu các thử nghiệm khác nhau. Một mô hình chống lại một nhiễu loạn đã biết vẫn có thể thất bại ở một mô hình mới và biện pháp bảo vệ loại bỏ quá nhiều âm thanh có thể gây hại cho người dùng hợp pháp. Sức mạnh của đối thủ không thể được đánh giá chỉ từ một clip đã chỉnh sửa. Đánh giá trên loa cố định, micrô và không gian âm thanh, đồng thời đo tỷ lệ lỗi từ thông thường và tỷ lệ chấp nhận lệnh có hại. Chất lượng âm thanh và độ tương tự về nhận thức cần có sự kiểm tra của con người hoặc được xác thực vì khoảng cách ở cấp độ tệp không phải là thước đo hoàn chỉnh về những gì người nghe nghe được. Nếu đầu vào không đáng tin cậy, hãy giữ nguyên nguồn gốc và tránh coi bản ghi là xác thực. Thiết kế an toàn nhất tách biệt sự công nhận khỏi sự ủy quyền. Xác nhận các hành động có tác động cao, giới hạn những gì lệnh thoại có thể thực hiện mà không có yếu tố khác và cung cấp đường dẫn khôi phục khi âm thanh không chắc chắn bị từ chối. Các cuộc tấn công nghiên cứu thúc đẩy việc thử nghiệm và kiểm soát theo lớp; chúng không nên biến thành tuyên bố rằng một trợ lý cụ thể hiện đang bị xâm phạm mà không có bằng chứng từ việc triển khai đó.

Triển khai trong thế giới thực

Nhóm bảo mật đưa âm thanh bị điều khiển vào thử nghiệm được ủy quyền của giao diện lệnh thoại.

Một nhà nghiên cứu phân biệt cuộc tấn công bằng tệp kỹ thuật số với cuộc tấn công được phát qua loa vào micrô thực.

Sản phẩm cần được xác nhận trước khi cụm từ được nhận dạng kích hoạt hành động có tác động cao.

Người đánh giá đo lường cả sự thành công của cuộc tấn công và sự từ chối sai của người dùng bình thường sau khi thêm biện pháp phòng vệ.

Tương lai của các cuộc tấn công bất lợi vào nhận dạng giọng nói

Khi giao diện giọng nói trở nên có khả năng hơn, bề mặt tấn công của chúng sẽ bao gồm các clip đã tải lên, cuộc gọi và phát lại gần đó. Các bài kiểm tra căng thẳng tốt hơn có thể bao gồm nhiều thiết bị và phòng hơn trong khi vẫn đảm bảo lời nói thực tế của người dùng. Mục tiêu không phải là một yêu cầu bất khả thi về quyền miễn trừ; nó được đo lường mức độ kháng cự dưới quyền truy cập của kẻ tấn công đã nêu cộng với hành vi an toàn khi khả năng nhận dạng không chắc chắn. Xác nhận, giới hạn giao dịch và tách xác thực khỏi sao chép sẽ vẫn hữu ích ngay cả khi các mô hình được cải thiện. Các tuyên bố công khai phải gắn liền với việc thử nghiệm sản phẩm hiện tại vì kết quả đối với một mô hình ASR lịch sử không thể thiết lập tính bảo mật của hệ thống khác.

Đưa nó vào thực tế

Tại sao nó quan trọng

  • Truy cập và tiếp cận. Nó cải thiện khả năng tiếp cận thông qua phiên âm, tường thuật và giao diện giọng nói.
  • Chi phí và ngân sách. Các nhóm truyền thông có thể gửi âm thanh tinh tế nhanh hơn với ngân sách nhỏ hơn.
  • Tốc độ và tỷ lệ. Các hệ thống hướng tới khách hàng có thể xử lý các tương tác bằng giọng nói ở quy mô lớn hơn.

coi chừng

  • Rủi ro lạm dụng giọng nói và mạo danh sẽ tăng lên khi thiếu sự đồng ý.
  • Độ chính xác có thể giảm đối với các giọng, phương ngữ hoặc môi trường ồn ào.
  • Âm thanh tổng hợp có thể bị nhầm lẫn với lời nói đích thực nếu không có nhãn rõ ràng.

Các bước tiếp theo

  1. Nhận được sự đồng ý rõ ràng để thu âm, sao chép và tái sử dụng giọng nói.
  2. Kiểm tra chất lượng trên nhiều loa và điều kiện nền khác nhau.
  3. Xác định khi nào con người phải xem xét hoặc phê duyệt kết quả đầu ra.
  4. Dán nhãn âm thanh tổng hợp và lưu giữ hồ sơ xuất xứ để đảm bảo trách nhiệm giải trình.

Tiếp tục khám phá

Bản tin miễn phí

Nhận bản tóm tắt AI hàng ngày

Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.

Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.

Tự kiểm tra

Làm bài kiểm tra về các cuộc tấn công đối nghịch vào nhận dạng giọng nói

Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.

Bắt đầu bài kiểm tra

Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp

Câu hỏi thường gặp

Các cuộc tấn công bất lợi vào nhận dạng giọng nói là gì?

Một mẫu âm thanh đối nghịch được cố tình thay đổi để khiến trình nhận dạng giọng nói xuất ra bản ghi sai, đôi khi có âm thanh giống với âm thanh của người nghe. Nghiên cứu đã chứng minh các cuộc tấn công nhắm mục tiêu theo mô hình cụ thể, nhưng thành công trong phòng thí nghiệm không có nghĩa là việc truyền tải đáng tin cậy qua mọi diễn giả hoặc phòng. Các hệ thống mạnh mẽ kiểm tra các nhiễu loạn thực tế và tránh tác động lên bản ghi mà không có xác nhận cần thiết.

Điều gì tiếp theo đối với các cuộc tấn công bất lợi vào nhận dạng giọng nói?

Khi giao diện giọng nói trở nên có khả năng hơn, bề mặt tấn công của chúng sẽ bao gồm các clip đã tải lên, cuộc gọi và phát lại gần đó. Các bài kiểm tra căng thẳng tốt hơn có thể bao gồm nhiều thiết bị và phòng hơn trong khi vẫn đảm bảo lời nói thực tế của người dùng. Mục tiêu không phải là một yêu cầu bất khả thi về quyền miễn trừ; nó được đo lường mức độ kháng cự dưới quyền truy cập của kẻ tấn công đã nêu cộng với hành vi an toàn khi khả năng nhận dạng không chắc chắn. Xác nhận, giới hạn giao dịch và tách xác thực khỏi sao chép sẽ vẫn hữu ích ngay cả khi các mô hình được cải thiện. Các tuyên bố công khai phải gắn liền với việc thử nghiệm sản phẩm hiện tại vì kết quả đối với một mô hình ASR lịch sử không thể thiết lập tính bảo mật của hệ thống khác.

Điều gì phân biệt một mẫu âm thanh đối nghịch với tiếng ồn nền vô tình?

Tối ưu hóa có chủ ý đối với một lỗi xác định cài đặt nghiên cứu.

Những gì nên được so sánh trong một nghiên cứu độ bền được ủy quyền?

Đánh giá có ý nghĩa bao gồm các cuộc tấn công và người dùng hợp pháp.