HƯỚNG DẪN KỸ THUẬT

Phát triển dựa trên đánh giá

Sự phát triển dựa trên đánh giá sử dụng các thử nghiệm mang tính đại diện để hướng dẫn các thay đổi đối với lời nhắc, mô hình và mã ứng dụng.

Nghe hướng dẫn nàyAI thuật lại · ~3 min

Trên trang nàyĐọc trong 3 phút
  1. Tổng quan
  2. Lặn sâu
  3. Triển khai trong thế giới thực
  4. Tương lai của sự phát triển dựa trên đánh giá
  5. Đưa nó vào thực tế
  6. Tiếp tục khám phá
  7. Câu hỏi thường gặp

Tổng quan

Các nhóm so sánh hành vi của ứng viên với đường cơ sở, kiểm tra các lỗi và lưu giữ các trường hợp quan trọng khi hệ thống thay đổi.

Lặn sâu

Sự phát triển dựa trên đánh giá mượn tên và cấu trúc của nó từ sự phát triển dựa trên thử nghiệm trong phần mềm truyền thống: thay vì viết mã sản xuất và sau đó hy vọng nó hoạt động, nhà phát triển viết một bài kiểm tra thất bại trước, sau đó viết mã cho đến khi bài kiểm tra vượt qua. Áp dụng cho các hệ thống LLM, điều này có nghĩa là viết các trường hợp kiểm thử đánh giá - đầu vào đại diện được kết hợp với cách đánh giá tính đúng đắn, cho dù đó là kiểm tra đối sánh chính xác, xác nhận dựa trên quy tắc hay phiếu tự đánh giá LLM với tư cách là người đánh giá - trước khi thay đổi lời nhắc, hoán đổi mô hình hoặc điều chỉnh quy trình truy xuất. Sau đó, các đánh giá đóng vai trò là thước đo cho việc liệu một thay đổi được đề xuất có thực sự là một cải tiến hay không, thay vì dựa vào ấn tượng chủ quan của nhà phát triển khi thử một vài ví dụ. Điều này đặc biệt quan trọng đối với các hệ thống LLM vì những thay đổi kịp thời có những tác động phi cục bộ nổi tiếng: việc diễn đạt lại một lệnh để khắc phục một chế độ lỗi có thể âm thầm phá vỡ một chế độ lỗi khác và nếu không có bộ đánh giá rộng thì hồi quy có thể không xuất hiện cho đến khi người dùng sử dụng nó trong quá trình sản xuất. Trong thực tế, các bộ đánh giá có xu hướng phát triển một cách tự nhiên - một mô hình phổ biến là mọi lỗi trong thế giới thực được báo cáo sẽ trở thành một trường hợp đánh giá vĩnh viễn mới, do đó có thể phát hiện được hồi quy được tái tạo nếu nó quay trở lại trong các điều kiện thử nghiệm được bao phủ. Một quan niệm sai lầm thường gặp là việc phát triển dựa trên đánh giá đòi hỏi một bộ thử nghiệm chính thức lớn ngay từ ngày đầu tiên; hầu hết các nhóm đều bắt đầu với một số trường hợp bao gồm các tình huống có giá trị cao nhất hoặc dễ xảy ra thất bại nhất và mở rộng từ đó. Một quan niệm sai lầm khác là chỉ riêng điểm đánh giá là đủ nếu không có sự đánh giá định kỳ của con người, vì bản thân mô hình đánh giá hoặc đánh giá có thể không phù hợp với những gì người dùng thực sự cho là đúng.

Triển khai trong thế giới thực

Trước khi viết lại lời nhắc hỗ trợ khách hàng để ngắn gọn hơn, trước tiên, nhóm viết 40 eval bao gồm các loại yêu cầu phổ biến và các trường hợp khó khăn, sau đó xác nhận lời nhắc mới vẫn vượt qua tất cả chúng trước khi triển khai.

Một nhóm chuyển đổi tính năng tóm tắt của họ từ mô hình này sang mô hình khác trước tiên sẽ chạy bộ đánh giá hiện có của họ dựa trên cả hai mô hình, phát hiện ra rằng mô hình mới hơn có điểm thấp hơn về độ chính xác thực tế đối với các tài liệu tài chính mặc dù nhanh hơn.

Một kỹ sư thêm hướng dẫn mới vào lời nhắc hệ thống ('luôn trích dẫn nguồn') viết một đánh giá để kiểm tra cụ thể sự hiện diện của trích dẫn, vì chỉ riêng việc kiểm tra tại chỗ thủ công đã bỏ sót các trường hợp thỉnh thoảng trong đó các trích dẫn bị loại bỏ.

Một nhóm xây dựng trợ lý mã hóa nội bộ sẽ duy trì một bộ đánh giá ngày càng phát triển, trong đó mọi kết quả đầu ra xấu được báo cáo từ người dùng sẽ trở thành một trường hợp thử nghiệm vĩnh viễn mới, do đó lỗi cụ thể đó không bao giờ có thể âm thầm xuất hiện trở lại.

Tương lai của sự phát triển dựa trên đánh giá

Khi các tính năng LLM trở thành một phần lớn hơn của phần mềm sản xuất, việc phát triển dựa trên đánh giá có thể trở nên thường xuyên giống như thử nghiệm đơn vị dành cho mã thông thường, với các bộ đánh giá được kiểm tra trong cùng một kho lưu trữ và được xem xét trong cùng các yêu cầu kéo khi có những thay đổi nhanh chóng. Công cụ làm cho các khác biệt hồi quy trong mỗi trường hợp trở nên dễ đọc hơn thay vì chỉ là điểm tổng hợp, là một lĩnh vực tự nhiên của việc tiếp tục cải tiến. Thách thức mở chính vẫn là giữ cho các bộ đánh giá đại diện cho việc sử dụng thực tế khi sản phẩm phát triển, vì một bộ không phản ánh nhu cầu thực tế của người dùng sẽ tạo ra sự tin cậy sai lầm.

Đưa nó vào thực tế

Tại sao nó quan trọng

  • Chi phí và ngân sách. Các quyết định về kiến ​​trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
  • Quyết định rõ ràng hơn. Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
  • Kiểm soát chất lượng. Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.

coi chừng

  • Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
  • Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
  • Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.

Các bước tiếp theo

  1. Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
  2. Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
  3. Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
  4. Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.

Tiếp tục khám phá

Bản tin miễn phí

Nhận bản tóm tắt AI hàng ngày

Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.

Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.

Tự kiểm tra

Làm bài kiểm tra Phát triển dựa trên đánh giá

Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.

Bắt đầu bài kiểm tra

Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp

Câu hỏi thường gặp

Phát triển dựa trên đánh giá là gì?

Sự phát triển dựa trên đánh giá sử dụng các thử nghiệm mang tính đại diện để hướng dẫn các thay đổi đối với lời nhắc, mô hình và mã ứng dụng. Các nhóm so sánh hành vi của ứng viên với đường cơ sở, kiểm tra các lỗi và lưu giữ các trường hợp quan trọng khi hệ thống thay đổi.

Sự phát triển dựa trên đánh giá dựa trên thực tiễn phần mềm đã được thiết lập nào mượn cấu trúc của nó?

Sự phát triển dựa trên đánh giá phản ánh sự phát triển dựa trên thử nghiệm bằng cách viết bài kiểm tra (eval) trước khi thực hiện thay đổi.

Tại sao phần tìm hiểu sâu cho biết những thay đổi nhanh chóng có thể gặp rủi ro nếu không có bộ đánh giá?

Các tác động không cục bộ của việc chỉnh sửa kịp thời là lý do chính khiến bộ đánh giá trở nên quan trọng, vì việc kiểm tra tại chỗ thủ công có thể bỏ sót hồi quy mới.

Trong ví dụ về chuyển đổi mô hình, bộ eval đã tiết lộ điều gì về mô hình mới hơn, nhanh hơn?

Việc chạy bộ đánh giá hiện có với cả hai mô hình đã tạo ra sự cân bằng về độ chính xác mà chỉ riêng tốc độ đã ẩn giấu.

Nhóm nên xử lý một lỗi thực tế đã được xác nhận trong bộ đánh giá của mình như thế nào?

Một lỗi liên quan và được xác nhận có thể trở thành một bài kiểm tra hồi quy, nhưng các bộ đánh giá phải luôn phù hợp với các yêu cầu hiện tại của sản phẩm.

Tại sao tỷ lệ đậu tổng hợp có thể gây hiểu nhầm khi so sánh lời nhắc cơ bản và lời nhắc của ứng viên?

Phân tích theo từng trường hợp sẽ phát hiện các hồi quy mà mức trung bình tổng thể có thể che giấu.