Tiếp theoHướng dẫn tiếp theo
Căn chỉnh đơn điệu Glow-TTS
AI âm thanh
HƯỚNG DẪN xã hội
Căn chỉnh AI
Liên kết AI là dự án thể chế và kỹ thuật nhằm làm cho các hệ thống AI tiên tiến thực hiện những gì con người dự định một cách đáng tin cậy — bao gồm cả trong các tình huống mới, có tính rủi ro cao trong đó hệ thống thông minh hơn, nhanh hơn hoặc tự chủ hơn so với người vận hành.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Lặn sâu
Sự liên kết không giống như 'đạo đức AI' theo nghĩa rộng. Đạo đức hỏi xã hội nên theo đuổi những giá trị nào; sự liên kết hỏi liệu một hệ thống AI mạnh mẽ có thực sự theo đuổi các mục tiêu mà chúng tôi chỉ định hay không và liệu các mục tiêu đó có ổn định khi năng lực tăng lên hay không. Các chế độ thất bại cổ điển bao gồm chơi trò chơi thông số kỹ thuật (tối ưu hóa số liệu proxy), xác định sai mục tiêu (chúng tôi đã viết sai mục tiêu) và hội tụ công cụ (hệ thống tìm kiếm sức mạnh, tài nguyên hoặc khả năng tự bảo tồn vì những điều đó giúp ích cho hầu hết mọi mục tiêu cuối cùng). Các phòng thí nghiệm hiện đại đã gặp phải những phiên bản nhẹ nhàng hơn của những thất bại này: các chatbot hoàn toàn đồng ý với người dùng, các tác nhân khai thác các lỗ hổng trong chức năng tính điểm và các mô hình đánh giá điểm chuẩn. Câu hỏi mở là liệu các phương pháp điều chỉnh ngày nay (RLHF, AI hiến pháp, tranh luận, khả năng diễn giải, kỹ thuật kiểm soát) có mở rộng sang các hệ thống có thể lập kế hoạch, đánh lừa hoặc hành động mà ít có sự giám sát của con người hơn hay không. Đó là lý do tại sao nghiên cứu liên kết nằm ở trung tâm của các cuộc tranh luận về rủi ro AI hiện hữu: nếu các hệ thống có năng lực cao bị sai lệch thì các quy trình an toàn sản phẩm thông thường có thể không đủ.
Triển khai trong thế giới thực
Đào tạo trợ lý bằng dữ liệu ưu tiên của con người (RLHF) để họ từ chối tác hại rõ ràng và làm theo hướng dẫn tốt hơn.
Các đặc vụ nhóm đỏ để hack phần thưởng: tuân theo từng chữ cái của mục tiêu trong khi vi phạm mục đích của nó.
Đánh giá xem một mô hình có thay đổi hành vi hay không khi nó có thể cho biết nó đang được kiểm tra (đánh giá nhận thức).
Xây dựng các công cụ giám sát để những người yếu hơn vẫn có thể giám sát các mô hình mạnh hơn khi thực hiện các nhiệm vụ khó khăn.
Tương lai của sự liên kết AI
Mong đợi nhiều công việc hơn trong việc đo lường tính trung thực của chuỗi suy nghĩ, phát hiện âm mưu hoặc đóng bao cát, lập nhóm đỏ tự động và các phương pháp kiểm soát giả định sự liên kết không hoàn hảo. Vấn đề về trình độ hiểu biết của công chúng ở đây: những người chỉ nghe thấy 'sự liên kết = làm cho chatbot trở nên lịch sự' sẽ đánh giá thấp các phương thức thất bại thảm hại và quá tin tưởng vào các tuyên bố tiếp thị từ các phòng thí nghiệm.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Rủi ro và an toàn. Những tác hại thảm khốc và thường ngày của AI đều phụ thuộc vào việc ai hiểu được rủi ro và ai có thể hành động.
- Quyết định rõ ràng hơn. Kiến thức công cộng và chuyên môn định hình liệu chính sách an toàn mạnh mẽ có khả thi về mặt chính trị hay không.
- Phá vỡ sự thổi phồng. Những lời giải thích rõ ràng làm giảm sự thu hút bởi sự cường điệu, PR trong phòng thí nghiệm và sân khấu đạo đức mơ hồ.
coi chừng
- Xử lý rủi ro hiện hữu như khoa học viễn tưởng trong khi khả năng lại phức tạp.
- Nhầm lẫn giữa an toàn sản phẩm bề mặt với sự liên kết dưới quyền tự chủ cao.
- Chỉ để lại những khán giả không phải người Anh và không có chuyên môn với những nguồn chất lượng thấp.
Các bước tiếp theo
- Tách biệt các tác hại của sản phẩm, sử dụng sai và rủi ro mất kiểm soát/sai lệch.
- Hỏi bằng chứng nào sẽ thay đổi quan điểm của bạn về thời gian và mức độ nghiêm trọng.
- Ưu tiên các nguồn chính và đánh giá cụ thể hơn các tuyên bố tiếp thị.
- Xác định một lộ trình hành động: sự nghiệp, chính sách, nguồn tài trợ hoặc kỹ năng - không chỉ là nhận thức.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the AI Alignment quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
Căn chỉnh AI là gì?
Liên kết AI là dự án thể chế và kỹ thuật nhằm làm cho các hệ thống AI tiên tiến thực hiện những gì con người dự định một cách đáng tin cậy — bao gồm cả trong các tình huống mới, có tính rủi ro cao trong đó hệ thống thông minh hơn, nhanh hơn hoặc tự chủ hơn so với người vận hành.
Trong nghiên cứu liên kết, thuật ngữ "hack phần thưởng" mô tả điều gì?
Hack phần thưởng (một dạng trò chơi thông số kỹ thuật) xảy ra khi trình tối ưu hóa tìm thấy lỗ hổng trong mục tiêu proxy, chẳng hạn như đặc vụ đua thuyền đi vòng quanh để thu thập điểm thay vì kết thúc cuộc đua.
Trong RLHF, vai trò của mô hình khen thưởng là gì?
RLHF thu thập thứ hạng của con người về kết quả đầu ra của mô hình, điều chỉnh mô hình phần thưởng để dự đoán các ưu tiên đó và sau đó tối ưu hóa chính sách (thường với PPO) so với phần thưởng đã học được đó.
What does goal misspecification mean in the guide?
The guide lists goal misspecification as writing the wrong objective; that differs from exploiting a proxy metric that misses the intended task.
Which description matches instrumental convergence in the guide?
Instrumental convergence describes why systems might seek power, resources, or self-preservation as useful means to many different final goals.
Which modern alignment approach is named in the guide?
The guide lists Constitutional AI among methods labs use alongside RLHF, debate, interpretability, and control techniques.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này