Lời nguyền đảo ngược trong LLM
Lời nguyền đảo ngược là một dạng thất bại đáng ngạc nhiên trong đó một mô hình ngôn ngữ học 'A là B' không thể trả lời một cách đáng tin cậy 'B là A.' Nó tiết lộ rằng LLM lưu trữ dữ kiện dưới dạng liên kết một chiều chứ không phải dưới dạng kiến thức đối xứng.
Lặn sâu
Được ghi lại trong một bài báo năm 2023 của Berglund và các đồng nghiệp, lời nguyền đảo ngược cho thấy rằng nếu một người mẫu được đào tạo về 'mẹ của Tom Cruise là Mary Lee Pfeiffer', thì nó thường thất bại khi được hỏi 'Con trai của Mary Lee Pfeiffer là ai?' mặc dù câu trả lời là giống nhau về mặt logic. Hiệu ứng này vẫn tồn tại ở các kích thước mô hình và thậm chí sau khi tinh chỉnh hàng trăm dữ kiện như vậy. Đó không phải là khoảng trống bộ nhớ: mô hình đã xem thông tin nhưng chỉ theo một thứ tự. Bởi vì quá trình đào tạo tối ưu hóa dự đoán mã thông báo tiếp theo theo thứ tự từ chính xác trong dữ liệu, liên kết thống kê từ A đến B không tự động tạo liên kết từ B trở lại A. Việc tìm kiếm các giả định bị thách thức chỉ riêng quy mô đã tạo ra lý luận linh hoạt, giống con người về các sự kiện.
Hiểu biết kỹ thuật
Máy biến áp học bằng cách dự đoán mã thông báo tiếp theo dựa trên ngữ cảnh trước đó, do đó, cập nhật độ dốc sẽ tăng cường ánh xạ hướng 'A rồi B' nhưng không chạm vào 'B rồi A' trừ khi thứ tự đó cũng xuất hiện trong quá trình đào tạo. Hai hướng sống theo những con đường trọng lượng riêng biệt. Các nhà nghiên cứu đã xác nhận điều này bằng cách đo xác suất nhật ký: sau khi tìm hiểu một sự kiện thuận, xác suất của tuyên bố ngược vẫn ở gần mức cơ bản, cho thấy không có sự đảo ngược logic ngầm nào xảy ra trong quá trình đào tạo.
Tác động chiến lược
Tốc độ và tỷ lệ
Quy trình công việc ngôn ngữ có thể di chuyển nhanh hơn mà không làm mất tính nhất quán.
Truy cập và tiếp cận
Nó mở rộng quyền truy cập vào các ngôn ngữ và phong cách giao tiếp.
Quyết định rõ ràng hơn
Các nhóm có thể dành nhiều thời gian hơn để đánh giá trong khi quá trình tự động hóa xử lý sự lặp lại.
Tương lai của lời nguyền đảo ngược trong LLM
Các biện pháp giảm thiểu đang được nghiên cứu bao gồm tăng cường dữ liệu hai chiều (thêm các cụm từ đảo ngược), mục tiêu đào tạo dự đoán mã thông báo theo cả hai hướng và hệ thống truy xuất tìm kiếm dữ kiện một cách đối xứng thay vì dựa vào trọng số được ghi nhớ. Một số kiến trúc mới hơn và thử nghiệm huấn luyện ngược lại làm giảm khoảng cách. Mong rằng lời nguyền sẽ giảm bớt nhưng không biến mất, vì nó bộc lộ sự không phù hợp sâu sắc giữa việc học bằng mã thông báo tiếp theo và cấu trúc đối xứng của các mối quan hệ trong thế giới thực.
Triển khai trong thế giới thực
Một chatbot nêu chính xác cha mẹ của một người nổi tiếng nhưng không thành công khi được yêu cầu nêu tên đứa con nổi tiếng của cha mẹ đó.
Một người mẫu kể lại 'tổng thống thứ chín là William Henry Harrison' nhưng lại vấp phải 'tổng thống thứ chín là William Henry Harrison'.
Một trợ lý mã hóa đã học được ánh xạ từ chức năng đến mô tả không thể khôi phục tên hàm chỉ từ mô tả.
Hệ thống QA y tế được đào tạo về 'Thuốc X điều trị Tình trạng Y' không liệt kê Thuốc X khi được hỏi điều gì điều trị Tình trạng Y.
Rủi ro & lan can
Sự thật ảo giác có thể lặng lẽ đi vào báo cáo, luồng hỗ trợ hoặc kết quả nghiên cứu.
Sự nhạy cảm kịp thời có thể tạo ra kết quả không nhất quán đối với các yêu cầu tương tự.
Dữ liệu văn bản nhạy cảm có thể bị lộ nếu khả năng kiểm soát quyền truy cập yếu.
Lộ trình thực hiện
Xác định định dạng đầu ra, âm thanh và tiêu chuẩn chất lượng trước khi triển khai.
Phản hồi mặt đất với các nguồn đáng tin cậy bất cứ khi nào độ chính xác quan trọng.
Duy trì điểm kiểm tra đánh giá của con người đối với các kết quả đầu ra có mức độ rủi ro cao.
Theo dõi các kiểu lỗi và đào tạo lại các lời nhắc hoặc quy trình làm việc thường xuyên.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Reversal Curse in LLMs quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
ChatGPT & LLM
Câu hỏi thường gặp
What is Reversal Curse in LLMs?
Lời nguyền đảo ngược là một dạng thất bại đáng ngạc nhiên trong đó một mô hình ngôn ngữ học 'A là B' không thể trả lời một cách đáng tin cậy 'B là A.' Nó tiết lộ rằng LLM lưu trữ dữ kiện dưới dạng liên kết một chiều chứ không phải dưới dạng kiến thức đối xứng.
Lời nguyền đảo ngược mô tả điều gì?
Lời nguyền đảo ngược là việc không suy ra được 'B là A' từ việc huấn luyện 'A là B', mặc dù cả hai đều tương đương về mặt logic.
Tại sao lời nguyền đảo ngược lại xảy ra một cách máy móc?
Vì quá trình đào tạo tối ưu hóa dự đoán mã thông báo tiếp theo theo thứ tự được quan sát chính xác nên ánh xạ ngược không bao giờ được củng cố trừ khi nó cũng xuất hiện trong quá trình đào tạo.
Liệu việc tăng kích thước mô hình có khắc phục được lời nguyền đảo ngược một cách đáng tin cậy không?
Nghiên cứu ban đầu cho thấy lời nguyền tồn tại trên nhiều kích cỡ mô hình, cho thấy chỉ riêng quy mô không giải quyết được nó.
Biện pháp giảm nhẹ nào nhắm trực tiếp vào lời nguyền đảo ngược?
Việc tăng cường dữ liệu hai chiều hiển thị mô hình cho cả 'A là B' và 'B là A', tạo ra liên kết ngược bị thiếu.
Làm thế nào các nhà nghiên cứu xác nhận rằng mô hình này không ngầm hiểu được sự thật ngược lại?
Xác suất của tuyên bố đảo ngược vẫn ở gần mức cơ bản sau khi huấn luyện về phía trước, cho thấy không có sự đảo ngược logic nào xảy ra.