Chuyện gì đã xảy ra
Một bài báo được gửi tới arXiv vào ngày 31 tháng 8 giới thiệu SAGE, viết tắt của Đánh giá nhận thức về sự vắng mặt, có căn cứ của nhà nước. Nó được thiết kế để đánh giá các tác nhân đối thoại theo định hướng nhiệm vụ bằng cách kiểm tra xem mỗi phản hồi có thay đổi chính xác trạng thái của quy trình công việc cơ bản hay không, thay vì chỉ đánh giá xem phản hồi đó có trôi chảy hay phù hợp hay không.
Các tác giả lập luận rằng các thẩm phán LLM tổng thể thông thường có thể bỏ lỡ liệu lượt đối thoại có nâng cao trạng thái quy trình làm việc chính xác hay không vì họ đánh giá bối cảnh có sẵn dưới dạng một đơn vị duy nhất. Thay vào đó, SAGE tổng hợp đặc tả quy trình công việc và sự khác biệt trạng thái mỗi lượt thành các tiêu chí nguyên tử, dựa trên lược đồ. Sau đó, mỗi tiêu chí sẽ được kiểm tra bằng một loạt các trình xác minh suy luận ngôn ngữ tự nhiên dựa trên biểu tượng và bộ mã hóa. Hệ thống có thể bỏ phiếu trắng khi bằng chứng không đầy đủ thay vì buộc phải phỏng đoán và nó tổng hợp các quyết định tiêu chí riêng lẻ thành kết quả ở cấp độ lần lượt có dấu vết bằng chứng.
Bài viết xác định một cấu hình được đề xuất có tên là SAGE-Core. Theo bản tóm tắt, SAGE-Core quyết định 81% đến 91% tiêu chí chỉ sử dụng trình biên dịch, quy tắc ký hiệu và bộ mã hóa trên thiết bị mà không phải trả phí LLM. Bài viết cũng mô tả SAGE-LLM, bổ sung dự phòng LLM tập trung tùy chọn cho các tiêu chí lớp mở. Nguồn không chỉ rõ phần cứng, việc triển khai phần mềm, độ trễ, điều khoản cấp phép hoặc chi phí vận hành của các thành phần trên thiết bị.
Đánh giá bao gồm bốn phần được rút ra từ các bộ dữ liệu MultiWOZ, Đối thoại có hướng dẫn lược đồ và ABCD. Các tác giả báo cáo rằng không có đường cơ sở LLM-với tư cách là người đánh giá nào được đánh giá vượt quá đáng kể SAGE-Core trên bất kỳ lát cắt nào. Việc so sánh bao gồm thẩm phán GPT-4.1 được nhà nước nhận biết và các biến thể GPT-4.1-mini rẻ hơn. Bản tóm tắt đưa ra chi phí được báo cáo là từ 4,70 USD đến 8,00 USD trên 1.000 lượt cho đánh giá G-Eval GPT-4.1, so với 0 USD cho SAGE-Core, nhưng nó không cung cấp cấu hình thử nghiệm hoặc tính toán chi phí đầy đủ trong văn bản nguồn được cung cấp.
Bài báo cũng báo cáo một cuộc kiểm tra của con người với hai người chú thích đối với 200 ví dụ, với kappa giữa hai người chú thích là 0,94. Các tác giả cho biết điều này hỗ trợ độ chính xác cao của nhãn cho các lớp lỗi hiển thị trong bản ghi. Họ báo cáo rằng, sau khi loại trừ lớp giá trị người dùng bị bỏ qua có độ nổi bật yếu, SAGE-Core đã được gắn về mặt thống kê với đánh giá LLM mạnh nhất. Nguồn thừa nhận rõ ràng các hạn chế liên quan đến lỗi được chèn, vòng tròn biểu tượng một phần và khả năng giá trị người dùng bị bỏ qua phù hợp với trạng thái quy trình làm việc mà không phổ biến đối với người đánh giá.
Tại sao nó quan trọng
Công việc giải quyết một điểm yếu thực tế trong việc đánh giá các tác nhân AI: phản hồi có thể đọc tốt trong khi không hoàn thành bước bắt buộc, duy trì trạng thái quan trọng hoặc tuân theo quy trình làm việc. Nếu kết quả được báo cáo đúng, SAGE có thể thực hiện việc đánh giá định kỳ rẻ hơn đáng kể và cung cấp bằng chứng rõ ràng hơn về lý do tại sao một lượt đối thoại được thông qua hoặc thất bại.
Hệ thống đối thoại theo định hướng nhiệm vụ thường được sử dụng cho các quy trình làm việc trong đó tính chính xác phụ thuộc vào trạng thái tích lũy: đăng ký có thể cần đúng ngày và điểm đến, tương tác hỗ trợ có thể cần một bước được xác minh và trao đổi giống như biểu mẫu có thể cần thông tin bắt buộc được lưu giữ qua các lượt. Ý nghĩa chính của SAGE là việc đánh giá nên kiểm tra trực tiếp các chuyển đổi trạng thái này. Sự trôi chảy vẫn phù hợp nhưng chưa đủ để chứng minh rằng một tác nhân đã thực hiện nhiệm vụ đã định.
Sự khác biệt về chi phí được báo cáo có thể rất quan trọng đối với các tổ chức cần đánh giá khối lượng lớn các cuộc hội thoại. Thẩm phán yêu cầu cuộc gọi LLM đầy đủ cho mỗi lượt có thể làm tăng thêm chi phí tài chính và khiến việc kiểm tra liên tục trở nên khó khăn hơn. Việc SAGE-Core tuyên bố sử dụng kiểm tra ký hiệu và bộ mã hóa cục bộ có thể hỗ trợ kiểm tra hồi quy thường xuyên hơn, trong khi hành vi bỏ phiếu trắng của nó cung cấp cách dự trữ đánh giá đắt tiền hơn cho các trường hợp kiểm tra tự động không thể giải quyết. Đây là những khả năng thực tế, chưa thể hiện được kết quả triển khai ở nguồn.
Thiết kế theo dõi bằng chứng cũng có thể cải thiện khả năng kiểm toán. Việc đạt hoặc không đạt ở cấp độ lần lượt có thể được liên kết với các tiêu chí riêng lẻ xuất phát từ đặc tả quy trình làm việc và sự khác biệt về trạng thái, giúp nhà phát triển có tài khoản cụ thể hơn về những gì đã xảy ra. Điều đó có thể giúp phân biệt một hành động bắt buộc còn thiếu với vấn đề về từ ngữ hoặc một trao đổi không rõ ràng. Tuy nhiên, tính hữu ích của dấu vết phụ thuộc vào chất lượng của đặc tả quy trình công việc và tính hợp lệ của các quy tắc được sử dụng để biên dịch nó.
Hạn chế của bài báo là về chất liệu. Kết quả của nó được báo cáo trên các lát điểm chuẩn đã chọn và các lớp lỗi có thể nhìn thấy trong bảng điểm, không phải trên dịch vụ khách hàng trực tiếp hoặc các môi trường sản xuất khác. Nguồn không chứng minh rằng SAGE khái quát hóa các quy trình công việc không quen thuộc, cài đặt đa ngôn ngữ, tương tác đa phương thức, phiên chạy dài hoặc miền mà trạng thái chính xác khó chính thức hóa. Sự thừa nhận của các tác giả về các lỗi được đưa vào và tính tuần hoàn mang tính biểu tượng một phần cũng có nghĩa là thỏa thuận được báo cáo không nên được coi là thước đo hoàn chỉnh về độ tin cậy của tác nhân trong thế giới thực.
Cơ chế tương tác: Nó thực sự hoạt động như thế nào
Khám phá công nghệ cơ bản đằng sau sự phát triển này một cách tương tác.
crm_get_transaction(id='4092').An agent must create a draft calendar event for Tuesday at 2 p.m. Which evidence would establish the requested result?
Xem gì tiếp theo
Các phát hiện này đến từ một bản in lại duy nhất và phải được coi là tuyên bố của tác giả đang chờ sao chép độc lập. Các câu hỏi mở quan trọng bao gồm cách SAGE hoạt động trên các miền nằm ngoài điểm chuẩn đã được kiểm tra, tần suất bỏ phiếu trắng yêu cầu dự phòng LLM và liệu các tiêu chí của nó có còn đáng tin cậy hay không khi thông số kỹ thuật của quy trình làm việc không đầy đủ hoặc mơ hồ.
Các đánh giá độc lập nên kiểm tra xem lợi thế của SAGE có còn tồn tại hay không khi các nhà nghiên cứu sử dụng các lỗi xảy ra tự nhiên thay vì các lỗi được tiêm vào. Họ cũng nên so sánh nó với những người đánh giá mạnh không phải LLM và kiểm tra các trường hợp lỗi trong đó bản đặc tả quy trình làm việc không đầy đủ, mâu thuẫn hoặc sai. Những thử nghiệm đó sẽ làm rõ liệu SAGE đang đo lường hành vi của tác nhân hay chủ yếu là kiểm tra việc tuân thủ quy trình chính thức do các nhà thiết kế của nó cung cấp.
Vai trò của việc bỏ phiếu trắng là một thước đo quan trọng khác. Nguồn báo cáo rằng SAGE-Core quyết định 81% đến 91% tiêu chí, nhưng bản thân phạm vi đó không cho biết có bao nhiêu lượt hoàn chỉnh nhận được phán quyết quyết định, tần suất bỏ phiếu trắng là đúng hoặc tần suất cần có SAGE-LLM. Các kết quả trong tương lai sẽ báo cáo mức độ bao phủ, kết quả dương tính giả, âm tính giả, tỷ lệ dự phòng, độ trễ và tổng chi phí theo khối lượng công việc thực tế.
Việc phát hiện giá trị người dùng bị bỏ qua đáng được quan tâm đặc biệt. Các tác giả coi nó như một tín hiệu nhất quán về trạng thái nhưng cho biết nó có mức độ phổ biến yếu đối với con người, cho thấy rằng một tác nhân có thể đáp ứng các yêu cầu chính thức về quy trình làm việc trong khi vẫn không cung cấp được thứ gì đó có giá trị hợp lý cho người dùng. Sự khác biệt đó có thể trở nên quan trọng trong các hệ thống giao tiếp với khách hàng, nơi mà tính đúng đắn của trạng thái nghiêm ngặt và sự hữu ích được nhận thức có thể khác nhau.
Cuối cùng, người đọc nên xem mã, bộ dữ liệu rộng hơn và kết quả sao chép. Nguồn được cung cấp xác định bài báo, tác giả, điểm chuẩn và kết quả tiêu đề nhưng không xác định tính sẵn có công khai, cách sử dụng sản xuất, xác nhận bên ngoài hoặc ấn phẩm được bình duyệt. Cho đến khi có những thông tin chi tiết đó, SAGE được hiểu rõ nhất là một đề xuất đánh giá đầy hứa hẹn với các kết quả điểm chuẩn được báo cáo đáng khích lệ, thay vì một sự thay thế được xác thực cho đánh giá dựa trên con người hoặc dựa trên mô hình.