Tiếp theoTiếp theo trong AI tại nơi làm việc
AI & Quyền riêng tư
xã hội
HƯỚNG DẪN xã hội
An toàn AI
An toàn AI là lĩnh vực tập trung vào việc ngăn chặn các hệ thống AI gây ra tác hại nghiêm trọng - từ những lỗi hàng ngày và sử dụng sai mục đích thông qua các rủi ro thảm khốc và hiện hữu từ các hệ thống tiên tiến, có khả năng cao.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Lặn sâu
An toàn AI trải rộng trên nhiều phạm vi. Một bên là những rủi ro quen thuộc về sản phẩm: ảo giác, thành kiến, rò rỉ quyền riêng tư, lừa đảo và lời khuyên không an toàn. Mặt khác là những rủi ro gia tăng theo năng lực: các hệ thống tự trị theo đuổi các mục tiêu ngoài ý muốn, các mô hình hỗ trợ xử lý sai mục đích nghiêm trọng (mầm bệnh, tấn công mạng) và các cuộc chạy đua cạnh tranh gây áp lực buộc các phòng thí nghiệm phải triển khai trước khi công tác đảm bảo an toàn sẵn sàng. Các cuộc thảo luận về rủi ro hiện sinh tập trung vào khả năng các hệ thống AI trong tương lai trở nên đủ mạnh để chỉ một thất bại duy nhất - sai lệch, mất kiểm soát hoặc phổ biến không thể đảo ngược - có thể cắt đứt vĩnh viễn tương lai của nhân loại. Bạn không cần phải đặt ra xác suất cao cho kết quả đó để thực hiện nghiên cứu một cách nghiêm túc; Những rủi ro có xác suất thấp, tác động cực lớn vẫn cần được chuẩn bị, giống như những gì họ làm trong an toàn sinh học và an toàn hạt nhân. Công việc an toàn thực tế ngày nay bao gồm đánh giá, phân công, khả năng diễn giải, kỹ thuật kiểm soát, quản trị (ai có thể đào tạo cái gì) và hiểu biết của công chúng để xã hội có thể hỗ trợ chính sách tốt.
Triển khai trong thế giới thực
Các mô hình nhóm đỏ về rủi ro an toàn sinh học, mạng và lừa đảo trước khi phát hành.
Đánh giá khả năng chạy để kiểm tra xem mô hình có thể hỗ trợ thực hiện các nhiệm vụ nguy hiểm hay không.
Triển khai các biện pháp kiểm soát theo lớp: chính sách sử dụng, giám sát, giới hạn tỷ lệ và báo cáo của con người đối với các hành động có rủi ro cao.
Thiết kế ứng phó sự cố khi một mô hình bị lỗi trong quá trình sản xuất hoặc bản bẻ khóa lây lan.
Tương lai của An toàn AI
Khi các mô hình đạt được quyền tự chủ và sử dụng công cụ, mức độ an toàn sẽ chuyển từ 'không nói những điều xấu' sang 'không thực hiện các hành động không thể đảo ngược nếu không có sự giám sát đáng tin cậy'. Mong đợi nhiều đánh giá được tiêu chuẩn hóa hơn, các chính sách kiểm tra, tính toán và phát hành của bên thứ ba cũng như nhu cầu của công chúng về tính minh bạch. Biết chữ là một phần của sự an toàn: nếu chỉ có các chuyên gia hiểu được rủi ro thì quản trị dân chủ không thể theo kịp.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Rủi ro và an toàn. Những tác hại thảm khốc và thường ngày của AI đều phụ thuộc vào việc ai hiểu được rủi ro và ai có thể hành động.
- Quyết định rõ ràng hơn. Kiến thức công cộng và chuyên môn định hình liệu chính sách an toàn mạnh mẽ có khả thi về mặt chính trị hay không.
- Phá vỡ sự thổi phồng. Những lời giải thích rõ ràng làm giảm sự thu hút bởi sự cường điệu, PR trong phòng thí nghiệm và sân khấu đạo đức mơ hồ.
coi chừng
- Xử lý rủi ro hiện hữu như khoa học viễn tưởng trong khi khả năng lại phức tạp.
- Nhầm lẫn giữa an toàn sản phẩm bề mặt với sự liên kết dưới quyền tự chủ cao.
- Chỉ để lại những khán giả không phải người Anh và không có chuyên môn với những nguồn chất lượng thấp.
Các bước tiếp theo
- Tách biệt các tác hại của sản phẩm, sử dụng sai và rủi ro mất kiểm soát/sai lệch.
- Hỏi bằng chứng nào sẽ thay đổi quan điểm của bạn về thời gian và mức độ nghiêm trọng.
- Ưu tiên các nguồn chính và đánh giá cụ thể hơn các tuyên bố tiếp thị.
- Xác định một lộ trình hành động: sự nghiệp, chính sách, nguồn tài trợ hoặc kỹ năng - không chỉ là nhận thức.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the AI Safety quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
An toàn AI là gì?
An toàn AI là lĩnh vực tập trung vào việc ngăn chặn các hệ thống AI gây ra tác hại nghiêm trọng - từ những lỗi hàng ngày và sử dụng sai mục đích thông qua các rủi ro thảm khốc và hiện hữu từ các hệ thống tiên tiến, có khả năng cao.
In the guide’s capability-alignment-security mental model, what does capability describe?
The guide defines capability as system ability, distinct from alignment and security.
What does specification gaming mean in AI safety?
The guide’s safety concepts distinguish optimizing a proxy from the intended objective.
What is the risk in relying only on output filters for a tool-using agent?
The guide notes that output-only safeguards can fail with jailbreaks or multi-step actions.
Why include red-teaming in a safety program?
The guide names adversarial testing as practical safety work.
What should a safety evaluation examine beyond a polished model card?
The guide calls for measuring capabilities and testing behavior under deployment conditions.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này