Chuyện gì đã xảy ra
Các nhà nghiên cứu đã giới thiệu HiDiffTIR, một khuôn khổ đào tạo các tác nhân mô hình ngôn ngữ lớn sử dụng các công cụ bên ngoài qua nhiều lượt. Các tác giả cho biết phương pháp này chỉ định các tín hiệu học tập ở cả cấp độ quỹ đạo và cấp độ rẽ riêng lẻ, thay vì coi mọi cuộc gọi công cụ thành công đều có thông tin như nhau.
Bài viết có tiêu đề “HiDiffTIR: Tối ưu hóa chính sách nhận biết độ khó phân cấp cho lý luận tích hợp công cụ nhiều lượt”, mô tả một phương pháp đào tạo cho các tác nhân mô hình ngôn ngữ lớn tương tác nhiều lần với các công cụ bên ngoài. Nguồn xác định lý luận tích hợp công cụ là khả năng cần thiết cho các nhiệm vụ phức tạp trong đó tác nhân phải thực hiện lệnh gọi công cụ, xử lý kết quả và quyết định việc cần làm tiếp theo. Bài báo đã được gửi tới arXiv vào ngày 22 tháng 8 năm 2026 và nguồn tin cho biết nó đã được chấp nhận theo Kết quả EMNLP 2026.
Lời chỉ trích trọng tâm của các tác giả là các phương pháp học tăng cường hiện tại thường gán các lợi thế ở cấp độ quỹ đạo thống nhất và coi các lệnh gọi công cụ chính xác có giá trị như nhau. Trong bối cảnh này, một lợi thế là tín hiệu học tập được sử dụng để chỉ ra mức độ ảnh hưởng của một hành vi cụ thể đến việc cập nhật chính sách. Bài viết lập luận rằng cách xử lý thống nhất này không phân biệt được những quỹ đạo dễ dàng với những quỹ đạo khó khăn, hoặc các bước lý luận thông thường với những bước đòi hỏi phải ra quyết định hữu ích hơn.
HiDiffTIR áp dụng phân công tín dụng nhận biết độ khó ở hai cấp độ. Ở cấp độ quỹ đạo, nó hướng sự chú ý nhiều hơn tới các quỹ đạo mà phương pháp này cho là có nhiều thông tin hơn. Ở cấp độ lượt, nó phân biệt giữa các bước lý luận trong tương tác nhiều lượt. Theo bản tóm tắt, phương pháp này rút ra những điểm khác biệt này từ số liệu thống kê cấp nhóm trong quá trình triển khai học tập tăng cường tiêu chuẩn và không yêu cầu giám sát bổ sung. Nguồn không nêu rõ cách tính độ khó chính xác hoặc chi tiết triển khai.
Các tác giả báo cáo rằng các thử nghiệm trên ba điểm chuẩn sử dụng công cụ đã cho thấy mức tăng nhất quán về hiệu suất suy luận tích hợp công cụ nhiều lượt và độ chính xác của lệnh gọi công cụ so với các đường cơ sở học tăng cường mạnh mẽ. Đó là những khẳng định của tờ báo; nguồn được cung cấp không bao gồm tên điểm chuẩn, điểm số, kiểm tra thống kê, cấu hình mô hình hoặc so sánh cần thiết để đánh giá độc lập quy mô và mức độ mạnh mẽ của lợi ích.
Tại sao nó quan trọng
Các tác nhân sử dụng công cụ thường cần lập kế hoạch, gọi công cụ, diễn giải kết quả và tiếp tục qua một số bước. Nếu quá trình đào tạo khen thưởng các kiểu sử dụng công cụ dễ và khó theo cùng một cách, thì tín hiệu thu được có thể quá thô. HiDiffTIR được trình bày như một cách để tập trung học tập củng cố vào các ví dụ và các bước suy luận mang lại nhiều giá trị học tập hơn.
Vấn đề thực tế được bài báo giải quyết là rất quan trọng vì việc sử dụng công cụ đa tiện sẽ tạo ra các điểm lỗi không xuất hiện trong một phản hồi duy nhất. Tác nhân có thể chọn sai công cụ, sử dụng công cụ đúng với tham số không chính xác, hiểu sai đầu ra hoặc mất dấu nhiệm vụ ở lượt sau. Về nguyên tắc, việc đào tạo phân biệt giữa các bước này có thể khiến việc học tập có mục tiêu hơn là một tín hiệu thành công hay thất bại duy nhất được áp dụng cho toàn bộ tương tác.
Cách tiếp cận được đề xuất cũng có thể quan trọng đối với hiệu quả của việc đào tạo học tăng cường. Nguồn tin cho biết HiDiffTIR sử dụng số liệu thống kê cấp nhóm từ các đợt triển khai thông thường và không bổ sung tính năng giám sát. Nếu mô tả đó được áp dụng trong thực tế, phương pháp này có thể cải thiện việc sử dụng dữ liệu đã được tạo trong quá trình đào tạo thay vì yêu cầu nhãn mới của con người hoặc chú thích độ khó được thiết kế riêng biệt. Nguồn không xác định liệu phương pháp này có làm giảm thời gian tính toán, đào tạo hoặc chi phí hay không.
Báo cáo tập trung vào độ chính xác của lệnh gọi công cụ có liên quan trực tiếp đến độ tin cậy của tác nhân. Một mô hình ngôn ngữ có thể đưa ra lời giải thích hợp lý trong khi vẫn chọn một công cụ không phù hợp hoặc thực hiện một lệnh gọi không hợp lệ. Việc lựa chọn và sắp xếp công cụ tốt hơn có thể hữu ích trong các quy trình công việc liên quan đến tìm kiếm, tính toán, cơ sở dữ liệu hoặc các hệ thống bên ngoài khác. Tuy nhiên, độ chính xác của điểm chuẩn không giống như hoạt động an toàn hoặc đáng tin cậy trong thế giới mở, nơi các công cụ có thể có tác dụng phụ và thông tin có thể không đầy đủ hoặc có tính chất đối nghịch.
Kết quả được hiểu rõ nhất là sự đóng góp vào phương pháp đào tạo chứ không phải là một tác nhân mới được triển khai hoặc một sản phẩm đã được chứng minh. Nguồn này không cung cấp bằng chứng về việc triển khai, áp dụng của người dùng, hoàn thành nhiệm vụ trong thế giới thực, kiểm tra an toàn hoặc hiệu suất theo sự thay đổi phân phối. Nó cũng không cho thấy rằng tối ưu hóa nhận biết khó khăn sẽ giải quyết được các vấn đề lập kế hoạch, xác minh và kiểm soát rộng hơn liên quan đến việc sử dụng công cụ tự động.
Cơ chế tương tác: Nó thực sự hoạt động như thế nào
Khám phá công nghệ cơ bản đằng sau sự phát triển này một cách tương tác.
An agent must create a draft calendar event for Tuesday at 2 p.m. Which evidence would establish the requested result?
Xem gì tiếp theo
Nguồn báo cáo những cải tiến về ba điểm chuẩn sử dụng công cụ, nhưng bản tóm tắt không cung cấp tên điểm chuẩn, mức tăng bằng số, kích thước mô hình, đường cơ sở hoặc điều kiện đánh giá. Việc xem xét kỹ lưỡng hơn sẽ xác định xem các cải tiến được báo cáo có vượt quá các nhiệm vụ được thử nghiệm hay không và liệu độ phức tạp tối ưu hóa bổ sung có đáng giá trong quá trình triển khai thực tế hay không.
Câu hỏi đầu tiên là liệu mức tăng được báo cáo là rộng hay cụ thể theo điểm chuẩn. Nguồn tin cho biết phương pháp này được đánh giá dựa trên ba điểm chuẩn sử dụng công cụ, nhưng nó không xác định chúng hoặc mô tả tính đa dạng của nhiệm vụ của chúng. Người đọc nên tìm kiếm kết quả trên các loại công cụ khác nhau, độ dài nhiệm vụ, phạm vi và chế độ lỗi cũng như các bài kiểm tra về các nhiệm vụ không được sử dụng để điều chỉnh phương pháp.
Giấy cũng cần được kiểm tra về kết quả cắt bỏ. Vì HiDiffTIR chỉ định tín dụng ở cả cấp độ quỹ đạo và cấp độ rẽ, nên bằng chứng tiếp theo hữu ích sẽ phân tách sự đóng góp của từng cấp độ và cho thấy hiệu suất thay đổi như thế nào khi loại bỏ một trong hai thành phần. Các so sánh sẽ làm rõ liệu lợi ích có đến từ bản thân thiết kế nhận biết khó khăn hay không, từ tính toán bổ sung hay từ các lựa chọn đào tạo khác.
Một điều chưa biết nữa là phương thức này hoạt động như thế nào khi tín hiệu đánh giá hoặc khen thưởng cơ bản không đầy đủ. Thống kê ở cấp độ nhóm có thể xác định được những ví dụ khó, nhưng độ khó không nhất thiết bằng mức độ quan trọng, tính đúng đắn hay độ an toàn. Một tác nhân có thể nhận thêm áp lực tối ưu hóa đối với một mẫu thử thách vẫn không mong muốn. Nguồn được cung cấp không báo cáo các cuộc kiểm tra về thông số kỹ thuật sai phần thưởng, kết quả đầu ra của công cụ đối nghịch, hành động không an toàn hoặc suy thoái trong thời gian dài.
Cuối cùng, việc áp dụng thực tế sẽ phụ thuộc vào chi phí và khả năng tái sản xuất. Nguồn không cho biết liệu HiDiffTIR có yêu cầu thêm mẫu triển khai, bộ nhớ, lượt tối ưu hóa hay máy móc thời gian suy luận hay không. Nó cũng không cho biết liệu mã, mô hình được đào tạo hoặc thiết lập điểm chuẩn có được công khai hay không. Cần có sự sao chép và đánh giá độc lập về quy trình công việc được kết nối với công cụ thực tế trước khi coi các cải tiến được báo cáo là bằng chứng về các tác nhân có mục đích chung đáng tin cậy.