Tiếp theoHướng dẫn tiếp theo
Ngày giới hạn kiến thức trong LLM
Ngôn ngữ AI
HƯỚNG DẪN AI về ngôn ngữ
Lời nguyền đảo ngược trong LLM
Lời nguyền đảo ngược là một dạng thất bại đáng ngạc nhiên trong đó một mô hình ngôn ngữ học 'A là B' không thể trả lời một cách đáng tin cậy 'B là A.' Nó tiết lộ rằng LLM lưu trữ dữ kiện dưới dạng liên kết một chiều chứ không phải dưới dạng kiến thức đối xứng.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Lặn sâu
Được ghi lại trong một bài báo năm 2023 của Berglund và các đồng nghiệp, lời nguyền đảo ngược cho thấy rằng nếu một người mẫu được đào tạo về 'mẹ của Tom Cruise là Mary Lee Pfeiffer', thì nó thường thất bại khi được hỏi 'Con trai của Mary Lee Pfeiffer là ai?' mặc dù câu trả lời là giống nhau về mặt logic. Hiệu ứng này vẫn tồn tại ở các kích thước mô hình và thậm chí sau khi tinh chỉnh hàng trăm dữ kiện như vậy. Đó không phải là khoảng trống bộ nhớ: mô hình đã xem thông tin nhưng chỉ theo một thứ tự. Bởi vì quá trình đào tạo tối ưu hóa dự đoán mã thông báo tiếp theo theo thứ tự từ chính xác trong dữ liệu, liên kết thống kê từ A đến B không tự động tạo liên kết từ B trở lại A. Việc tìm kiếm các giả định bị thách thức chỉ riêng quy mô đã tạo ra lý luận linh hoạt, giống con người về các sự kiện.
Triển khai trong thế giới thực
Một chatbot nêu chính xác cha mẹ của một người nổi tiếng nhưng không thành công khi được yêu cầu nêu tên đứa con nổi tiếng của cha mẹ đó.
Một người mẫu kể lại 'tổng thống thứ chín là William Henry Harrison' nhưng lại vấp phải 'tổng thống thứ chín là William Henry Harrison'.
Một trợ lý mã hóa đã học được ánh xạ từ chức năng đến mô tả không thể khôi phục tên hàm chỉ từ mô tả.
Hệ thống QA y tế được đào tạo về 'Thuốc X điều trị Tình trạng Y' không liệt kê Thuốc X khi được hỏi điều gì điều trị Tình trạng Y.
Tương lai của lời nguyền đảo ngược trong LLM
Các biện pháp giảm thiểu đang được nghiên cứu bao gồm tăng cường dữ liệu hai chiều (thêm các cụm từ đảo ngược), mục tiêu đào tạo dự đoán mã thông báo theo cả hai hướng và hệ thống truy xuất tìm kiếm dữ kiện một cách đối xứng thay vì dựa vào trọng số được ghi nhớ. Một số kiến trúc mới hơn và thử nghiệm huấn luyện ngược lại làm giảm khoảng cách. Mong rằng lời nguyền sẽ giảm bớt nhưng không biến mất, vì nó bộc lộ sự không phù hợp sâu sắc giữa việc học bằng mã thông báo tiếp theo và cấu trúc đối xứng của các mối quan hệ trong thế giới thực.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Tốc độ và tỷ lệ. Quy trình công việc ngôn ngữ có thể di chuyển nhanh hơn mà không làm mất tính nhất quán.
- Truy cập và tiếp cận. Nó mở rộng quyền truy cập vào các ngôn ngữ và phong cách giao tiếp.
- Quyết định rõ ràng hơn. Các nhóm có thể dành nhiều thời gian hơn để đánh giá trong khi quá trình tự động hóa xử lý sự lặp lại.
coi chừng
- Sự thật ảo giác có thể lặng lẽ đi vào báo cáo, luồng hỗ trợ hoặc kết quả nghiên cứu.
- Sự nhạy cảm kịp thời có thể tạo ra kết quả không nhất quán đối với các yêu cầu tương tự.
- Dữ liệu văn bản nhạy cảm có thể bị lộ nếu khả năng kiểm soát quyền truy cập yếu.
Các bước tiếp theo
- Xác định định dạng đầu ra, âm thanh và tiêu chuẩn chất lượng trước khi triển khai.
- Phản hồi mặt đất với các nguồn đáng tin cậy bất cứ khi nào độ chính xác quan trọng.
- Duy trì điểm kiểm tra đánh giá của con người đối với các kết quả đầu ra có mức độ rủi ro cao.
- Theo dõi các kiểu lỗi và đào tạo lại các lời nhắc hoặc quy trình làm việc thường xuyên.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the Reversal Curse in LLMs quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
Lời nguyền đảo ngược trong LLM là gì?
Lời nguyền đảo ngược là một dạng thất bại đáng ngạc nhiên trong đó một mô hình ngôn ngữ học 'A là B' không thể trả lời một cách đáng tin cậy 'B là A.' Nó tiết lộ rằng LLM lưu trữ dữ kiện dưới dạng liên kết một chiều chứ không phải dưới dạng kiến thức đối xứng.
A model learned “A is B” but fails to answer “B is A.” What is this called?
The paper names this directional failure the reversal curse.
What does the reversal curse show about directional associations?
The paper reports that forward and reverse statements can behave differently.
Is the reversal curse simply a failure because the model never saw the fact?
The research tests failure on a reverse query after forward exposure.
Why might next-token training contribute to the effect?
The paper discusses sequence direction as relevant to the failure.
What does failure on a reverse query imply about model knowledge?
The finding challenges assumptions about flexible use of stored facts.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này