Chuyện gì đã xảy ra
Các nhà nghiên cứu từ DX (một công ty con của Atlassian), Capital One, GitHub, Google và Đại học Victoria đã giới thiệu khung CAFE(S), được xuất bản trên ACM Queue. Khung này cung cấp từ vựng chẩn đoán để đánh giá chất lượng bối cảnh được cung cấp cho các tác nhân mã hóa AI, xác định năm khía cạnh cụ thể của chất lượng bối cảnh ảnh hưởng đến hiệu suất của tác nhân.
Khung CAFE(S) được phát triển bởi một nhóm đa tổ chức bao gồm các nhà nghiên cứu từ DX, Capital One, GitHub, Google và Đại học Victoria. Nó được thiết kế để giúp các nhóm nền tảng và kỹ sư phần mềm đánh giá môi trường thông tin cung cấp các tác nhân mã hóa AI.
Theo nghiên cứu, các lỗi nhiệm vụ trong mã hóa AI thường bị quy nhầm là do các hạn chế của mô hình hoặc các vấn đề về điều phối, khi chúng thường do chất lượng của bối cảnh cung cấp cho mô hình. Khung này thiết lập năm khía cạnh của chất lượng bối cảnh để giúp các nhóm xác định và khắc phục những vấn đề này.
Các tác giả lập luận rằng AI làm tăng chi phí cho việc quản lý kiến thức kém, vì các tác nhân buộc phải hoạt động trên dữ liệu không rõ ràng hoặc cũ có nhiều khả năng tạo ra lỗi mà sau đó con người phải sửa.
Chi tiết nguồn: natlawreview.com ↗
Tại sao nó quan trọng
Khung CAFE(S) giải quyết một nút thắt quan trọng trong quá trình phát triển phần mềm được hỗ trợ bởi AI: sự suy giảm hiệu suất của mô hình do dữ liệu đầu vào có chất lượng kém. Bằng cách thiết lập một từ vựng chung cho 'chất lượng bối cảnh', khung này chuyển trọng tâm từ khả năng của mô hình sang kỹ thuật của môi trường thông tin. Điều này rất quan trọng vì ngay cả các mô hình tiên tiến cũng thường thất bại khi được cung cấp dữ liệu không rõ ràng, không đầy đủ hoặc cũ, dẫn đến việc nhà phát triển phải làm lại và tăng chi phí mã thông báo. Khung này nhằm mục đích coi chất lượng bối cảnh như một nguyên tắc kỹ thuật chính thức, cho phép các nhóm chẩn đoán một cách có hệ thống lý do tại sao các tác nhân thất bại và cải thiện độ tin cậy của quy trình mã hóa do AI điều khiển.
Khung này nhằm mục đích hoạt động như một 'thẻ điểm chất lượng' nằm trên các ngăn xếp phát triển phần mềm hiện có. Bằng cách tiêu chuẩn hóa ngôn ngữ được sử dụng để thảo luận về bối cảnh, các tác giả hy vọng sẽ cho phép thiết kế và bảo trì có chủ ý hơn các đường dẫn dữ liệu hỗ trợ các tác nhân AI.
Ý nghĩa thực tế đối với các nhóm kỹ thuật là sự thay đổi hướng tới việc coi môi trường thông tin là mối quan tâm kỹ thuật hàng đầu. Cách tiếp cận này nhằm mục đích giảm 'lãng phí mã thông báo' và rủi ro về độ tin cậy, có khả năng cải thiện lợi tức đầu tư cho các tổ chức mở rộng quy mô sử dụng các công cụ mã hóa AI.
Cơ chế tương tác: Nó thực sự hoạt động như thế nào
Khám phá công nghệ cơ bản đằng sau sự phát triển này một cách tương tác.
crm_get_transaction(id='4092').What most distinguishes an AI agent from a basic chatbot?
Xem gì tiếp theo
Khung này hiện đóng vai trò như một từ vựng chẩn đoán hơn là một hệ thống đo lường định lượng. Sự phát triển trong tương lai sẽ tập trung vào việc tạo ra các số liệu đáng tin cậy để đánh giá năm khía cạnh này trên quy mô lớn và xác định mức độ tương quan giữa những cải tiến cụ thể về chất lượng bối cảnh với kết quả có thể đo lường được trong việc phân phối phần mềm, năng suất của nhà phát triển và hiệu quả của tổ chức.
Nghiên cứu lưu ý rõ ràng rằng CAFE(S) là một khuôn khổ để định nghĩa, không phải là một hệ thống đo lường tự động. Ngành công nghiệp sẽ cần theo dõi các nghiên cứu hoặc công cụ tiếp theo nhằm cố gắng định lượng năm khía cạnh này.
Người quan sát nên theo dõi xem khuôn khổ này có được các nền tảng phát triển lớn áp dụng hay được tích hợp vào quy trình làm việc của tác nhân mã hóa AI hiện có để cung cấp báo cáo chẩn đoán được tiêu chuẩn hóa hay không.