Tiếp theoHướng dẫn tiếp theo
Hiệu ứng ELIZA: Tại sao chúng ta nhân hóa chatbot
xã hội
HƯỚNG DẪN xã hội
Từ chối quá mức là mô hình từ chối một yêu cầu vô hại vì nó bị hiểu sai là không an toàn hoặc không được phép.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
Các tiêu chuẩn nghiên cứu cho thấy việc từ chối sai có thể xảy ra, nhưng tỷ lệ phụ thuộc vào mô hình, lời nhắc và điểm chuẩn; việc cung cấp bối cảnh hợp pháp có thể làm rõ ý định trong khi các ranh giới an toàn vẫn được áp dụng.
Hệ thống an toàn nhằm mục đích ngăn chặn sự hỗ trợ có thể gây hại. Một lỗi liên quan là từ chối quá mức: hệ thống từ chối một yêu cầu thực sự vô hại. Ví dụ: một yêu cầu về chất độc có thể nhằm mục đích hư cấu sân khấu hoặc giáo dục về an toàn, trong khi một yêu cầu bề ngoài bình thường vẫn có thể mang tính hướng dẫn có hại. Bối cảnh và mục đích sử dụng có ý nghĩa quan trọng nhưng việc chỉ thêm nhãn vô hại sẽ không làm cho yêu cầu có hại trở nên an toàn. Các nhà nghiên cứu đã xây dựng các tiêu chuẩn để đo lường hành vi này. OR-Bench đã tạo ra 80.000 lời nhắc "có vẻ độc hại" được đánh giá là lành tính, cộng với tập hợp con khó hơn 1.000 lời nhắc và lời nhắc so sánh độc hại; nó đã đánh giá 25 mô hình trên tám họ mô hình trong nghiên cứu năm 2024. Vì một số nhãn nhắc nhở sử dụng kiểm duyệt dựa trên mô hình và tập dữ liệu được thiết kế xung quanh các danh mục cụ thể nên kết quả sẽ được diễn giải theo tiêu chuẩn đó thay vì là tỷ lệ từ chối chung cho các chatbot ngày nay. Việc từ chối quá mức có thể xuất phát từ cách diễn đạt mơ hồ, thiếu ngữ cảnh hoặc sự giống nhau bề ngoài với những gợi ý có hại. Nếu một yêu cầu hợp pháp bị từ chối, hãy làm rõ mục tiêu, bối cảnh và ranh giới lành mạnh. Yêu cầu thông tin an toàn, cấp cao hoặc giải pháp thay thế không thể thực hiện được khi thích hợp. Không sử dụng các thủ thuật kịp thời để trốn tránh các biện pháp bảo vệ hoặc yêu cầu các hướng dẫn có hại với lý do sai trái. Hành vi của mô hình cũng thay đổi theo phiên bản và chính sách. Đối với nhóm sản phẩm, hãy đánh giá cả những lời từ chối sai đối với những trường hợp lành tính và những lời từ chối phù hợp đối với những trường hợp có hại; giảm thiểu mọi lời từ chối không phải là mục tiêu. Đối với người dùng, việc giải thích rõ ràng về ngữ cảnh có thể hữu ích nhưng việc từ chối vẫn có thể phù hợp khi yêu cầu có thể gây tổn hại.
Một người dùng giải thích rằng câu hỏi về chất độc hại là để đảm bảo an toàn trong trường hợp khẩn cấp và yêu cầu hướng dẫn phơi nhiễm an toàn.
Chatbot từ chối phân tích lịch sử lành tính vì lời nhắc bao gồm thuật ngữ bạo lực.
Nhóm sản phẩm kiểm tra một lời nhắc vô hại được ghép nối với một lời nhắc có hại bằng cách sử dụng các từ tương tự.
Người dùng yêu cầu một giải pháp thay thế an toàn thay vì cố gắng che giấu một yêu cầu không được phép.
Các nhà nghiên cứu đang phát triển các tiêu chuẩn về từ chối quá mức lớn hơn và đa dạng hơn, nhưng các nhãn và danh mục gợi ý vẫn định hình tỷ lệ đo được. Các đánh giá trong tương lai sẽ cần phải kiểm tra bối cảnh đa sắc thái trong khi vẫn duy trì tỷ lệ từ chối cao đối với các yêu cầu thực sự có hại. Việc cải tiến sản phẩm nên tập trung vào việc phân biệt đối xử tốt hơn và các lựa chọn thay thế an toàn hữu ích, chứ không phải việc ngăn chặn việc từ chối một cách toàn diện. Người dùng nên mong đợi hành vi sẽ thay đổi khi mô hình và hệ thống an toàn được cập nhật. Điểm chuẩn phải tiếp tục bao gồm cả các biện pháp kiểm soát lành tính và có hại trên các danh mục điểm chuẩn và phiên bản mô hình.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Từ chối quá mức là mô hình từ chối một yêu cầu vô hại vì nó bị hiểu sai là không an toàn hoặc không được phép. Các tiêu chuẩn nghiên cứu cho thấy việc từ chối sai có thể xảy ra, nhưng tỷ lệ phụ thuộc vào mô hình, lời nhắc và điểm chuẩn; việc cung cấp bối cảnh hợp pháp có thể làm rõ ý định trong khi các ranh giới an toàn vẫn được áp dụng.
Từ chối quá mức mô tả việc từ chối một yêu cầu thực sự lành tính.
Các phiên bản mô hình và thiết kế điểm chuẩn giới hạn mức điểm tổng quát.
Ngữ cảnh có thể giúp phân biệt ý định lành tính với yêu cầu không an toàn.
Việc giảm từ chối quá mức không nên làm giảm số lần từ chối an toàn thích hợp.
Đánh giá an toàn cần phát hiện sự chấp nhận sai cũng như sự từ chối sai.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Hiệu ứng ELIZA: Tại sao chúng ta nhân hóa chatbot
xã hội