Chuyện gì đã xảy ra
TechNode báo cáo rằng Baidu đã ra mắt DuMateBench, một bảng xếp hạng đánh giá tập trung vào việc liệu các tác nhân AI có thể hoàn thành các nhiệm vụ trong thế giới thực và đưa ra kết quả đầu ra có thể sử dụng được hay không, thay vì chỉ tạo ra câu trả lời. Điểm chuẩn được báo cáo bao gồm hơn 200 nhiệm vụ văn phòng thuộc sáu danh mục và đánh giá mức độ hiểu nhiệm vụ, sử dụng công cụ, thực hiện liên tục và phân phối kết quả cuối cùng. TechNode cũng báo cáo rằng DuMateBench sử dụng khung đánh giá chung và giao diện mở để các mô hình và tác nhân khác nhau có thể được thử nghiệm theo các tiêu chí chung. Nguồn không cung cấp danh sách nhiệm vụ, kết quả bảng xếp hạng, hệ thống tham gia, phương pháp tính điểm hoặc chi tiết truy cập công khai.
TechNode báo cáo rằng Baidu đã ra mắt DuMateBench làm bảng xếp hạng đánh giá cho các tác nhân AI. Trọng tâm đã nêu là hoàn thành nhiệm vụ và phân phối có thể sử dụng được: điểm chuẩn nhằm kiểm tra xem liệu một tác nhân có thể thực hiện một nhiệm vụ trong thế giới thực và tạo ra kết quả hay không, thay vì chỉ tạo ra câu trả lời. Sự khác biệt đó đặt hành vi của tác nhân lên một chuỗi hành động ở trung tâm của quá trình phát triển được báo cáo. Nguồn tin không cho biết liệu bảng xếp hạng đã được điền điểm công khai hay chưa hay liệu việc ra mắt có đề cập đến khuôn khổ và hệ thống đánh giá sắp có sẵn hay không.
Theo TechNode, DuMateBench bao gồm hơn 200 nhiệm vụ văn phòng được chia thành sáu loại. Nguồn không nêu tên các danh mục đó hoặc mô tả các nhiệm vụ riêng lẻ, do đó không thể đánh giá phạm vi công việc được đề cập chỉ từ báo cáo này. Nó cũng cho biết các tác nhân kiểm tra điểm chuẩn trong môi trường hoạt động phức tạp. Cụm từ đó nhấn mạnh đến các điều kiện liên quan đến nhiều bước hoặc các ràng buộc vận hành, nhưng bài viết không chỉ rõ môi trường phần mềm, công cụ, dữ liệu hoặc quyền được sử dụng trong các thử nghiệm.
TechNode báo cáo rằng điểm chuẩn đánh giá bốn lĩnh vực: hiểu nhiệm vụ, sử dụng công cụ, thực thi liên tục và cung cấp kết quả cuối cùng. Nó cũng báo cáo rằng DuMateBench sử dụng khung đánh giá chung và giao diện mở, cho phép thử nghiệm các mô hình và tác nhân khác nhau theo cùng một tiêu chí. Những chi tiết này mô tả cấu trúc dự định của điểm chuẩn, không phải bằng chứng về cách thức hoạt động của bất kỳ hệ thống cụ thể nào. Nguồn không cung cấp kết quả theo từng mô hình, phân tích lỗi, sao chép độc lập, ví dụ về nhiệm vụ hoặc tài liệu thiết lập cách tính điểm từng thành phần.
Chi tiết nguồn: technode.com ↗
Tại sao nó quan trọng
Việc đánh giá tác nhân AI thường cần đo lường nhiều hơn chất lượng của một phản hồi. Một hệ thống có thể hiểu được yêu cầu nhưng không thành công khi nó phải sử dụng các công cụ, quản lý một số bước hoặc tạo ra kết quả mà người khác có thể sử dụng. Nếu khung được báo cáo có thể sử dụng công khai và các tiêu chí của nó đủ rõ ràng, DuMateBench có thể cung cấp cho các nhà phát triển và người dùng một cách thực tế hơn để so sánh hiệu suất của tác nhân. Giá trị của nó sẽ phụ thuộc vào tính minh bạch, khả năng tái tạo và liệu các nhiệm vụ có thể hiện các điều kiện vận hành thực tế hay không chứ không phải là các cuộc trình diễn hẹp.
Báo cáo nhấn mạnh vào việc hoàn thành nhằm giải quyết điểm yếu thực tế trong nhiều đánh giá về AI. Một mô hình có thể tạo ra phản hồi hợp lý mà không cần thực hiện thành công công việc được yêu cầu. Một tác nhân phải hoạt động qua nhiều bước sẽ gây ra các điểm lỗi bổ sung, bao gồm hiểu sai mục tiêu, chọn công cụ không phù hợp, mất dấu trạng thái hoặc không cung cấp sản phẩm cuối cùng được yêu cầu. Việc đo lường các giai đoạn đó một cách riêng biệt có thể giúp việc đánh giá có nhiều thông tin hơn cho những người quyết định có nên sử dụng tác nhân trong công việc thông thường hay không.
Một khung đánh giá chung cũng có thể cải thiện sự so sánh giữa các hệ thống nếu các nhiệm vụ, môi trường chấm điểm và kiểm tra đủ mở để bên ngoài xem xét kỹ lưỡng. TechNode báo cáo rằng DuMateBench có giao diện mở, có thể giúp kết nối các mô hình và hệ thống tác nhân khác nhau với cùng một thiết lập đánh giá dễ dàng hơn. Điều đó có thể giúp phân biệt các cải tiến trong các mô hình cơ bản với các cải tiến về điều phối, truy cập công cụ hoặc thiết kế quy trình làm việc. Lợi ích thực tế vẫn có điều kiện: giao diện không giống như điểm chuẩn có thể tái tạo đầy đủ và nguồn không xác định mức độ mở của dữ liệu, nhiệm vụ hoặc việc triển khai tính điểm.
Điểm chuẩn có thể đặc biệt phù hợp vì phạm vi được báo cáo của nó là công việc văn phòng chứ không phải là một kỹ năng chuyên môn đơn lẻ. Tuy nhiên, “nhiệm vụ văn phòng” là một mô tả rộng rãi và không thể rút ra kết luận nào về tự động hóa nơi làm việc từ bài viết. Tính hữu ích của kết quả sẽ phụ thuộc vào việc liệu các nhiệm vụ có phản ánh kết quả công việc hay không, liệu thành công có được đánh giá bằng các kết quả có ý nghĩa hay không và liệu tiêu chuẩn có nắm bắt được chi phí, sự chậm trễ, sự giám sát và sai sót hay không. Nếu không có những chi tiết đó, DuMateBench sẽ được hiểu là một sáng kiến đo lường được báo cáo chứ không phải bằng chứng cho thấy các tác nhân AI đã sẵn sàng thực hiện các nhiệm vụ đáng tin cậy tại nơi làm việc.
Cơ chế tương tác: Nó thực sự hoạt động như thế nào
Khám phá công nghệ cơ bản đằng sau sự phát triển này một cách tương tác.
crm_get_transaction(id='4092').An agent must create a draft calendar event for Tuesday at 2 p.m. Which evidence would establish the requested result?
Xem gì tiếp theo
Các câu hỏi trọng tâm vẫn chưa được trả lời bởi nguồn. Ở đây không xác nhận độc lập liệu DuMateBench có thể truy cập công khai hay không, sáu danh mục được xác định như thế nào, điều gì được coi là phân phối thành công, cách sử dụng đánh giá của con người hoặc mô hình và tác nhân nào đã được đánh giá. Báo cáo trong tương lai hoặc tài liệu chính cần làm rõ các quy tắc tính điểm của điểm chuẩn, quy trình lựa chọn nhiệm vụ, các biện pháp bảo vệ chống lại việc trang bị quá mức và kết quả trên các hệ thống. Điều quan trọng nữa là phải xem liệu hiệu suất trên DuMateBench có dự đoán được kết quả đáng tin cậy ngoài điểm chuẩn hay không.
Vấn đề đầu tiên cần xem là khả năng xác minh công khai. Nguồn là báo cáo TechNode và không bao gồm thông báo chính của Baidu, liên kết đến tài liệu điểm chuẩn, kho lưu trữ nhiệm vụ hoặc bảng xếp hạng công khai. Do đó, ở đây không thể xác nhận độc lập rằng tất cả các thành phần được báo cáo đều có sẵn như mô tả. Tài liệu chính phải nêu rõ ngày ra mắt, điều kiện truy cập, giấy phép, hệ thống tham gia và liệu các nhà nghiên cứu bên ngoài có thể tái tạo các đánh giá hay không.
Vấn đề thứ hai là phương pháp. Tài liệu trong tương lai phải xác định sáu loại, cung cấp các nhiệm vụ đại diện và giải thích cách tính điểm hiểu nhiệm vụ, sử dụng công cụ, thực hiện liên tục và phân phối kết quả cuối cùng. Nó cũng cần làm rõ liệu kết quả được đánh giá một cách tự động, bởi con người hay thông qua sự kết hợp của các phương pháp. Cần có thông tin chi tiết về giới hạn thời gian, quyền sử dụng công cụ, xử lý lỗi, quyền riêng tư, nguồn gốc dữ liệu và các thử nghiệm lặp lại để diễn giải các so sánh một cách công bằng. Nguồn không cung cấp bất kỳ thông tin này.
Vấn đề thứ ba là liệu hiệu suất chuẩn có được chuyển sang sử dụng thực tế hay không. Nhân viên có thể được tối ưu hóa cho các định dạng nhiệm vụ đã biết và bảng xếp hạng có thể khen thưởng các chiến lược hẹp nếu bộ thử nghiệm hoặc quy tắc đánh giá của nó có thể dự đoán được. Thử nghiệm độc lập đối với các nhiệm vụ được giao, môi trường phần mềm đa dạng và các cấp độ giám sát khác nhau của con người sẽ giúp xác định liệu DuMateBench có đo lường được độ tin cậy trên phạm vi rộng hay không. Cho đến khi có kết quả và phương pháp luận, kết luận có thể bảo vệ được nhất là Baidu đã đưa ra một tiêu chuẩn tập trung vào việc thực thi tác nhân, trong khi ý nghĩa thực tế của tiêu chuẩn đó vẫn chưa được chứng minh.