Chuyện gì đã xảy ra
Một bài báo được gửi tới arXiv vào ngày 25 tháng 8 xem xét cách các tác nhân mô hình ngôn ngữ thuyết phục lẫn nhau trong các hệ thống đa tác nhân được nối mạng. Nền tảng thử nghiệm được kiểm soát của nó bao gồm bốn xương sống LLM, năm cấu trúc biểu đồ và 55 câu lệnh chính sách. Các tác giả báo cáo rằng sự thuyết phục thay đổi tùy theo cấu trúc liên kết mạng, sự cạnh tranh, chủ đề và lập trường trước đó của từng mô hình.
Nguồn mô tả khả năng thuyết phục giữa các tác nhân mô hình ngôn ngữ lớn là một khả năng ngày càng quan trọng nhưng chưa được đo lường đầy đủ. Các tác giả đã xây dựng một thử nghiệm có kiểm soát trong đó một số tác nhân là những người thuyết phục có mục tiêu và những người khác có thể nhận, chuyển tiếp hoặc phản hồi thông tin. Theo bản tóm tắt, các mạng được đặt nền tảng trên các cấu trúc liên kết mạng bản ngã trong thế giới thực, nhưng nguồn được cung cấp ở đây không giải thích cấu trúc biểu đồ chính xác hoặc giao thức tương tác.
Trên bốn nền tảng LLM, năm biểu đồ và 55 tuyên bố chính sách, bài báo báo cáo rằng động lực thuyết phục phụ thuộc vào một số yếu tố tương tác. Chúng bao gồm cấu trúc liên kết của mạng, liệu các tác nhân có đang cạnh tranh hay không, chủ đề đang thảo luận và niềm tin hoặc xu hướng trước đó của mô hình. Bản tóm tắt không cung cấp tên mô hình riêng lẻ, số lượng tác nhân trong mỗi lần chạy hoặc mức độ tác động so sánh của các yếu tố đó.
Các tác giả báo cáo rằng việc tiếp xúc trực tiếp là một yếu tố dự báo đáng tin cậy về sự thay đổi lập trường trong vòng thi đấu tiếp theo. Tin nhắn được chuyển tiếp bởi các đồng nghiệp có ảnh hưởng nhỏ hơn nhưng có thể đo lường được. Phát hiện này được đưa ra như bằng chứng cho thấy những người không được giao nhiệm vụ thuyết phục vẫn có thể truyền sức mạnh thuyết phục qua mạng lưới, ngay cả khi họ đóng vai trò trung gian chứ không phải là nguồn gốc của một lập luận.
Bài báo cũng báo cáo một khoảng cách giữa những gì đặc vụ lên kế hoạch, những gì họ nói và những gì các cuộc thăm dò đã phát hiện được. Các chiến lược đã hoạch định chỉ được hiện thực hóa một phần trong các thông điệp được thực thi, các lựa chọn hành động có thể khác với nội dung thông điệp và những người bị thuyết phục hiếm khi nêu rõ ràng những thay đổi lập trường được phát hiện bởi các cuộc thăm dò của các nhà nghiên cứu. Bản tóm tắt không nêu rõ cách các máy thăm dò đo lường trạng thái tiềm ẩn hoặc được gợi ra cũng như cách các nhà nghiên cứu xác nhận các phép đo đó.
Tại sao nó quan trọng
Nghiên cứu gợi ý rằng thông điệp hiển thị của một đặc vụ có thể không tiết lộ đầy đủ liệu quan điểm cơ bản của nó có thay đổi hay không hoặc ai đã ảnh hưởng đến nó. Điều đó quan trọng đối với các hệ thống trong đó các tác nhân tranh luận, điều phối nghiên cứu, mô phỏng người dùng hoặc trung gian thông tin, bởi vì ảnh hưởng có thể lan truyền qua các tác nhân không được giao nhiệm vụ thuyết phục.
Vấn đề thực tế là khả năng quan sát được. Trong một cuộc trao đổi chatbot, người đánh giá có thể kiểm tra văn bản và đánh giá xem nó có chứa lập luận thuyết phục hay không. Tuy nhiên, trong hệ thống đa tác nhân, ảnh hưởng có thể tích lũy qua các vòng và con đường. Một mô hình có thể thay đổi phản hồi của nó sau khi tiếp xúc trực tiếp, sau khi nghe chuyển tiếp từ một tác nhân khác hoặc sau khi chọn một hành động không bộc lộ rõ ràng sự thay đổi trong thông báo bằng văn bản của nó.
Sự khác biệt đó có thể ảnh hưởng đến việc thiết kế và kiểm tra các hệ thống đại lý được sử dụng để tranh luận, phối hợp nghiên cứu, mô phỏng người dùng và dàn xếp thông tin. Nếu bản đánh giá chỉ ghi lại văn bản cuối cùng, nó có thể bỏ sót tác nhân nào đưa ra một tuyên bố có ảnh hưởng, tác nhân nào đã khuếch đại nó và liệu hành động cuối cùng có phản ánh một thay đổi chưa được thừa nhận một cách công khai hay không. Do đó, lập luận của bài báo là về việc đo lường và trách nhiệm giải trình hơn là tuyên bố rằng các hệ thống được triển khai đã gây ra một sự cố công cộng cụ thể.
Vai trò được báo cáo của cấu trúc liên kết cũng liên quan đến thiết kế hệ thống. Sự sắp xếp các tác nhân xác định ai có thể xem những thông điệp nào và thông tin có thể được truyền đi như thế nào. Nếu cấu trúc mạng thay đổi kết quả thuyết phục, thì việc thêm tác nhân hoặc thay đổi liên kết giao tiếp của họ có thể thay đổi hành vi ngay cả khi các mô hình và lời nhắc cơ bản vẫn giữ nguyên. Nguồn không xác định cấu trúc liên kết nào là an toàn nhất hoặc có khả năng chống thao túng cao nhất.
Các phát hiện này được trình bày dưới dạng tuyên bố nghiên cứu từ bản in trước của arXiv, chứ không phải là bằng chứng được xác minh độc lập về sức thuyết phục xã hội trong thế giới thực. Bản tóm tắt không cung cấp thông tin về đánh giá ngang hàng, xác nhận của con người, điều kiện triển khai hoặc độ bền của những thay đổi quan điểm được quan sát. Người đọc nên coi tác phẩm như một hướng đánh giá được đề xuất hỗ trợ bởi các thử nghiệm được báo cáo, chứ không phải như một thước đo về cách hành xử của con người hoặc hệ thống AI sản xuất.
Cơ chế tương tác: Nó thực sự hoạt động như thế nào
Khám phá công nghệ cơ bản đằng sau sự phát triển này một cách tương tác.
crm_get_transaction(id='4092').An agent must create a draft calendar event for Tuesday at 2 p.m. Which evidence would establish the requested result?
Xem gì tiếp theo
Bài viết kêu gọi các đánh giá kết hợp thăm dò niềm tin, nguồn gốc phơi nhiễm và nhật ký hành động. Những ẩn số quan trọng bao gồm danh tính và phiên bản của các mô hình được thử nghiệm, quy mô và thành phần của mạng, cường độ và tính bền vững của các thay đổi lập trường được báo cáo và liệu các phát hiện có được chuyển đến các hệ thống được triển khai hay người tham gia hay không.
Các tác giả khuyến nghị đánh giá khả năng thuyết phục như một quá trình theo quỹ đạo và mức độ tiếp xúc. Điều đó đòi hỏi phải ghi lại những gì mỗi tác nhân gặp phải, thời điểm nó gặp phải và tác nhân nào khác đã chuyển tiếp thông tin. Nguồn gốc tiếp xúc có thể giúp phân biệt ảnh hưởng trực tiếp với ảnh hưởng được truyền qua một số đồng nghiệp, trong khi nhật ký hành động có thể cho biết liệu tác nhân có hành động khác ngay cả khi văn bản của nó không tiết lộ quan điểm đã thay đổi hay không.
Thăm dò niềm tin là một lĩnh vực khác để theo dõi. Bản tóm tắt cho biết những người bị thuyết phục hiếm khi nêu những thay đổi về lập trường mà các nhà thăm dò đã phát hiện ra, ngụ ý rằng việc kiểm tra văn bản thông thường có thể đánh giá thấp sự chuyển động. Công việc trong tương lai sẽ cần phải xác định xem liệu các cuộc thăm dò này có đo lường được sự thay đổi hành vi hoặc nội bộ có ý nghĩa hay không, mức độ ổn định của kết quả giữa các lời nhắc và mô hình cũng như liệu bản thân các cuộc thăm dò có thể làm biến dạng sự tương tác hay không.
Nguồn để ngỏ mức độ hiệu ứng được báo cáo tùy thuộc vào nền tảng thử nghiệm. Bài viết sử dụng các tuyên bố chính sách và cấu trúc biểu đồ dựa trên mạng lưới cái tôi trong thế giới thực, nhưng phần tóm tắt không nêu rõ liệu các tuyên bố đó có nhạy cảm về mặt chính trị hay không, độ khó của chúng hay vị trí ban đầu của các tác nhân được chỉ định như thế nào. Nó cũng không báo cáo mức độ ảnh hưởng trực tiếp và chuyển tiếp ngang hàng hoặc liệu các thay đổi có tiếp tục tồn tại sau vòng tiếp theo hay không.
Cần có thêm bằng chứng trước khi áp dụng những phát hiện này vào việc triển khai có mức độ rủi ro cao. Các thử nghiệm tiếp theo hữu ích sẽ kiểm tra các mạng lớn hơn và hoạt động lâu hơn, các dòng mô hình khác nhau, các hướng dẫn và quyền truy cập công cụ đa dạng cũng như các tương tác liên quan đến con người. Cho đến khi có những kết quả đó, bài học thực tế rõ ràng nhất từ nguồn là kiểm tra đa tác nhân nên lưu giữ lịch sử hiển thị thông báo và dấu vết hành động cùng với kết quả đầu ra cuối cùng.