Chuỗi xác minh để giảm ảo giác
Chuỗi xác minh (CoVe) là một phương pháp nhắc nhở trong đó mô hình soạn thảo câu trả lời, tạo các câu hỏi kiểm tra tính xác thực của riêng nó, trả lời chúng một cách độc lập và sau đó sửa đổi bản nháp.
Tổng quan
It matters because it measurably cuts confident-but-wrong fabrications without external tools.
Lặn sâu
Ảo giác xảy ra khi một mô hình ngôn ngữ phát biểu điều gì đó trôi chảy nhưng sai. Chuỗi xác minh, do các nhà nghiên cứu AI Meta đề xuất vào năm 2023, giải quyết vấn đề này bằng cơ chế tự kiểm tra có cấu trúc. Đầu tiên, mô hình sẽ viết câu trả lời cơ bản. Sau đó, nó lập kế hoạch danh sách các câu hỏi xác minh có mục tiêu nhằm thăm dò các tuyên bố thực tế trong bản dự thảo đó, chẳng hạn như 'Người này sinh khi nào?' hoặc 'Công ty nào đã phát hành sản phẩm này?'. Điều quan trọng là nó trả lời từng câu hỏi xác minh một cách độc lập, lý tưởng nhất là không cần xem bản dự thảo gốc, do đó, nó không chỉ dán tem cho những sai sót trước đó của mình. Cuối cùng, nó so sánh các câu trả lời xác minh với bản nháp và đưa ra phản hồi cuối cùng được sửa chữa. Trong các nhiệm vụ như liệt kê các thực thể và viết tiểu sử, Cove đã giảm các lỗi thực tế so với một câu trả lời trực tiếp duy nhất.
Hiểu biết kỹ thuật
Bí quyết chính là tách xác minh khỏi bản nháp. Nếu mô hình trả lời các câu hỏi kiểm tra của chính nó trong khi nhìn chằm chằm vào văn bản gốc, nó có xu hướng xác nhận các mã thông báo trước đó. Bằng cách trả lời các câu hỏi một cách riêng biệt hoặc theo các cuộc gọi riêng biệt, mô hình sẽ truy xuất các dữ kiện một cách trung thực hơn, làm nổi lên những mâu thuẫn. Quy trình gồm bốn bước: soạn thảo, lập kế hoạch xác minh, thực hiện xác minh một cách độc lập và tạo câu trả lời sửa đổi để loại bỏ hoặc khắc phục các xác nhận quyền sở hữu không được hỗ trợ.
Tác động chiến lược
Tốc độ và tỷ lệ
Quy trình công việc ngôn ngữ có thể di chuyển nhanh hơn mà không làm mất tính nhất quán.
Truy cập và tiếp cận
Nó mở rộng quyền truy cập vào các ngôn ngữ và phong cách giao tiếp.
Quyết định rõ ràng hơn
Các nhóm có thể dành nhiều thời gian hơn để đánh giá trong khi quá trình tự động hóa xử lý sự lặp lại.
Tương lai của chuỗi xác minh để giảm ảo giác
CoVe đang hội tụ với khả năng truy xuất và sử dụng công cụ: các câu hỏi xác minh sẽ ngày càng được trả lời bằng tìm kiếm, máy tính hoặc cơ sở dữ liệu thay vì chỉ bằng bộ nhớ của mô hình, từ đó nâng cao độ chính xác hơn nữa. Mong đợi các hệ thống đại lý sẽ hoạt động trong các vòng xác minh tự động và các phiên bản chưng cất nhẹ hơn chạy kiểm tra với giá rẻ. Kết hợp với các ước tính về độ không chắc chắn, các hệ thống trong tương lai có thể chỉ kích hoạt xác minh đối với các tuyên bố mà mô hình không chắc chắn, nhằm cân bằng giữa chi phí và độ tin cậy.
Triển khai trong thế giới thực
Trợ lý nghiên cứu kiểm tra kỹ ngày tháng và tên trong tiểu sử được tạo trước khi hiển thị cho người dùng.
Một bot kiến thức doanh nghiệp đang xác minh các thông số kỹ thuật của sản phẩm mà nó trích dẫn dựa trên các câu hỏi tiếp theo của chính nó.
Tạo danh sách các thực thể (ví dụ: 'các chính trị gia sinh ra ở Boston') và loại bỏ những thực thể không xác minh được.
Một công cụ tóm tắt thông tin y tế gắn cờ và sửa đổi các tuyên bố mà các cuộc kiểm tra độc lập của nó không thể xác nhận.
Rủi ro & lan can
Sự thật ảo giác có thể lặng lẽ đi vào báo cáo, luồng hỗ trợ hoặc kết quả nghiên cứu.
Sự nhạy cảm kịp thời có thể tạo ra kết quả không nhất quán đối với các yêu cầu tương tự.
Dữ liệu văn bản nhạy cảm có thể bị lộ nếu khả năng kiểm soát quyền truy cập yếu.
Lộ trình thực hiện
Xác định định dạng đầu ra, âm thanh và tiêu chuẩn chất lượng trước khi triển khai.
Phản hồi mặt đất với các nguồn đáng tin cậy bất cứ khi nào độ chính xác quan trọng.
Duy trì điểm kiểm tra đánh giá của con người đối với các kết quả đầu ra có mức độ rủi ro cao.
Theo dõi các kiểu lỗi và đào tạo lại các lời nhắc hoặc quy trình làm việc thường xuyên.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Chain-of-Verification for Hallucination Reduction quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Ảo giác AI
Câu hỏi thường gặp
What is Chain-of-Verification for Hallucination Reduction?
Chuỗi xác minh (CoVe) là một phương pháp nhắc nhở trong đó mô hình soạn thảo câu trả lời, tạo các câu hỏi kiểm tra tính xác thực của riêng nó, trả lời chúng một cách độc lập và sau đó sửa đổi bản nháp. Nó quan trọng bởi vì nó cắt giảm một cách có thể đo lường được những điều bịa đặt chắc chắn nhưng sai lầm mà không cần đến các công cụ bên ngoài.
Bước đầu tiên trong Chuỗi xác minh là gì?
Cove bắt đầu bằng cách tạo ra một câu trả lời nháp ban đầu, các bước sau sẽ xác minh và sửa đổi.
Tại sao Cove trả lời các câu hỏi xác minh độc lập với bản nháp?
Việc trả lời riêng lẻ sẽ ngăn mô hình xác nhận những tuyên bố mà nó đã viết.
Bước lập kế hoạch tạo ra những loại câu hỏi nào?
Mô hình lên kế hoạch cho các câu hỏi xác minh nhằm vào các tuyên bố thực tế cụ thể trong dự thảo của nó.
Bước cuối cùng của Cove tạo ra sản phẩm gì?
Sau khi so sánh các câu trả lời xác minh với bản nháp, Cove đưa ra câu trả lời cuối cùng đã được sửa.
Cove được thiết kế đặc biệt để giảm thiểu vấn đề nào?
Cove nhắm đến những câu nói trôi chảy nhưng sai sự thật, giảm tỷ lệ lỗi thực tế.