AI hiến pháp
AI hiến pháp là phương pháp của Anthropic để căn chỉnh các mô hình bằng cách sử dụng một bộ nguyên tắc bằng văn bản — một 'hiến pháp' — để AI phê bình và sửa đổi các câu trả lời của chính nó thay vì chỉ dựa vào con người để gắn nhãn nội dung có hại.
Tổng quan
It aims to make models helpful and harmless with far less human labor.
Lặn sâu
Sự liên kết truyền thống dựa vào việc học tăng cường từ phản hồi của con người (RLHF), trong đó mọi người xếp hạng nhiều kết quả đầu ra của mô hình, bao gồm cả những kết quả đáng lo ngại, để dạy cho mô hình những điều cần tránh. AI hiến pháp giảm bớt gánh nặng đó bằng cách cung cấp cho mô hình một danh sách rõ ràng các nguyên tắc bằng văn bản được rút ra từ các nguồn như Tuyên ngôn Nhân quyền của Liên hợp quốc và các phương pháp hay nhất về độ tin cậy và an toàn. Đào tạo có hai giai đoạn. Đầu tiên, một giai đoạn được giám sát: mô hình tạo ra phản hồi, sau đó phê bình nó đi ngược lại nguyên tắc hiến pháp và viết lại để tốt hơn; những câu trả lời tự cải thiện này được sử dụng để tinh chỉnh nó. Thứ hai, giai đoạn học tập củng cố, RLAIF, trong đó mô hình tự xếp hạng các cặp phản hồi theo hiến pháp và dữ liệu ưu tiên do AI tạo ra sẽ huấn luyện một mô hình phần thưởng. Các nguyên tắc này minh bạch và có thể chỉnh sửa, làm cho các giá trị điều khiển mô hình có thể được kiểm tra thay vì bị ẩn bên trong các nhãn mờ đục của con người.
Hiểu biết kỹ thuật
Hai giai đoạn này thường được gọi là SL-CAI và RL-CAI. Trong học tập có giám sát, vòng lặp 'phê bình và sửa đổi' nhắc mô hình tìm ra câu trả lời của chính nó vi phạm nguyên tắc lấy mẫu ở đâu và viết lại nó, tạo ra dữ liệu đào tạo mà không gắn nhãn gây hại cho con người. Trong giai đoạn RL, mô hình thứ hai đánh giá xem phản ứng nào trong số hai phản ứng tuân theo hiến pháp tốt hơn, tạo ra nhãn ưu tiên AI (RLAIF) để đào tạo mô hình phần thưởng được sử dụng trong RL tiêu chuẩn. Hiến pháp là hướng dẫn bằng văn bản thuần túy được đưa vào các lời nhắc, do đó việc thay đổi hành vi của mô hình có thể trực tiếp như việc chỉnh sửa các nguyên tắc.
Tác động chiến lược
Tốc độ và tỷ lệ
Quy trình công việc ngôn ngữ có thể di chuyển nhanh hơn mà không làm mất tính nhất quán.
Truy cập và tiếp cận
Nó mở rộng quyền truy cập vào các ngôn ngữ và phong cách giao tiếp.
Quyết định rõ ràng hơn
Các nhóm có thể dành nhiều thời gian hơn để đánh giá trong khi quá trình tự động hóa xử lý sự lặp lại.
Tương lai của AI lập hiến
AI hiến pháp hướng tới 'giám sát có thể mở rộng', trong đó AI giúp giám sát AI khi các mô hình phát triển quá có khả năng để con người kiểm tra mọi đầu ra. Mong đợi các hiến pháp phong phú hơn, nhiều sắc thái hơn, ý kiến đóng góp của công chúng và sự tham gia của các nguyên tắc được lựa chọn (Anthropic đã chạy thử nghiệm 'AI hiến pháp tập thể') và các phương pháp tiếp cận kết hợp kết hợp phản hồi của con người với quá trình tự phê bình của AI. Tính minh bạch của các nguyên tắc bằng văn bản khiến điều này trở nên hấp dẫn đối với các cơ quan quản lý và kiểm toán viên muốn xem các giá trị mà hệ thống mã hóa. Khi các mô hình biên giới phát triển, các phương pháp cho phép các mô hình tự phê bình và cải thiện bản thân một cách đáng tin cậy trước các quy tắc rõ ràng có thể sẽ trở thành trọng tâm của vấn đề an toàn.
Triển khai trong thế giới thực
Huấn luyện một chatbot từ chối giúp chế tạo vũ khí bằng cách yêu cầu nó phê bình câu trả lời dự thảo của chính nó dựa trên nguyên tắc tránh tác hại và viết lại nó
Thay thế việc ghi nhãn tốn kém của đội đỏ đối với các kết quả đầu ra độc hại bằng dữ liệu ưu tiên do AI tạo ra (RLAIF) theo hướng dẫn của hiến pháp
Chỉnh sửa nguyên tắc bằng văn bản để điều chỉnh mức độ thận trọng của một mô hình, sau đó quan sát sự thay đổi hành vi mà không cần dán nhãn lại cho hàng nghìn ví dụ
Tổ chức các bài tập đóng góp tập thể trong đó công chúng đề xuất các nguyên tắc hình thành nên hiến pháp của mô hình
Rủi ro & lan can
Sự thật ảo giác có thể lặng lẽ đi vào báo cáo, luồng hỗ trợ hoặc kết quả nghiên cứu.
Sự nhạy cảm kịp thời có thể tạo ra kết quả không nhất quán đối với các yêu cầu tương tự.
Dữ liệu văn bản nhạy cảm có thể bị lộ nếu khả năng kiểm soát quyền truy cập yếu.
Lộ trình thực hiện
Xác định định dạng đầu ra, âm thanh và tiêu chuẩn chất lượng trước khi triển khai.
Phản hồi mặt đất với các nguồn đáng tin cậy bất cứ khi nào độ chính xác quan trọng.
Duy trì điểm kiểm tra đánh giá của con người đối với các kết quả đầu ra có mức độ rủi ro cao.
Theo dõi các kiểu lỗi và đào tạo lại các lời nhắc hoặc quy trình làm việc thường xuyên.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Constitutional AI quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Điều chỉnh hướng dẫn
Câu hỏi thường gặp
What is Constitutional AI?
AI hiến pháp là phương pháp của Anthropic để căn chỉnh các mô hình bằng cách sử dụng một bộ nguyên tắc bằng văn bản — một 'hiến pháp' — để AI phê bình và sửa đổi các câu trả lời của chính nó thay vì chỉ dựa vào con người để gắn nhãn nội dung có hại. Nó nhằm mục đích làm cho các mô hình trở nên hữu ích và vô hại với ít sức lao động của con người hơn.
'Hiến pháp' trong AI Hiến pháp là gì?
Hiến pháp là một bộ nguyên tắc bằng văn bản minh bạch, được rút ra từ các nguồn như các tài liệu về nhân quyền, mà mô hình sử dụng để đánh giá và cải thiện các câu trả lời của mình.
AI Hiến pháp nhằm mục đích giảm thiểu vấn đề chính nào với RLHF tiêu chuẩn?
Bằng cách để mô hình tự phê bình các nguyên tắc, AI Hiến pháp cắt giảm sức lao động của con người trong việc xem xét và dán nhãn các kết quả đầu ra đáng lo ngại hoặc có hại.
Trong giai đoạn được giám sát của AI Hiến pháp, mô hình này sẽ làm gì với kết quả đầu ra của chính nó?
Mô hình chạy một vòng lặp phê bình và sửa đổi: nó xác định chỗ nào bản nháp của nó vi phạm nguyên tắc lấy mẫu, sau đó viết lại câu trả lời, tạo ra dữ liệu đào tạo tự cải thiện.
RLAIF có nghĩa là gì trong giai đoạn học tăng cường?
RLAIF có nghĩa là Học tăng cường từ phản hồi AI: một mô hình xếp hạng các câu trả lời theo hiến pháp, tạo ra dữ liệu ưu tiên do AI tạo ra thay vì nhãn của con người.
Tại sao việc sử dụng các nguyên tắc bằng văn bản được coi là lợi thế cho tính minh bạch?
Bởi vì các giá trị hướng dẫn được viết ra nên chúng có thể được kiểm tra, kiểm tra và chỉnh sửa trực tiếp, không giống như các ưu tiên được mã hóa ngầm trong các xếp hạng rải rác của con người.