Kiểm tra hồi quy và phiên bản nhanh chóng

Lời nhắc chứa logic: hướng dẫn, ràng buộc, ví dụ và định dạng đầu ra xác định ứng dụng sẽ làm gì. Việc coi chúng như những chuỗi văn bản thông thường sẽ dẫn đến những chỉnh sửa không được theo dõi và gây bất ngờ trong quá trình sản xuất. Đối xử với chúng như mã có nghĩa là kiểm soát phiên bản, đánh giá, kiểm tra tự động và phát hành có kiểm soát. Những gì cần phiên bản là nhiều hơn từ ngữ nhanh chóng. Đầu ra phụ thuộc vào cấu hình đầy đủ: lời nhắc hệ thống, mẫu và các biến của nó, ví dụ vài lần chụp, lược đồ công cụ hoặc chức năng, mã định danh mô hình, các tham số lấy mẫu như nhiệt độ và mã thông báo tối đa cũng như cài đặt truy xuất nếu tài liệu được đưa vào. Việc thay đổi bất kỳ ai cũng có thể thay đổi hành vi, vì vậy các nhóm sẽ phiên bản chúng cùng nhau, thường được xác định bằng hàm băm nội dung và lưu trữ chúng trong git hoặc sổ đăng ký nhắc nhở. Thử nghiệm hồi quy cần một tập dữ liệu đánh giá, thường được gọi là bộ vàng: đầu vào thực đại diện, các trường hợp khó khăn đã biết và các lỗi sản xuất trong quá khứ được chuyển thành trường hợp thử nghiệm. Trình chấm điểm bao gồm từ nghiêm ngặt đến mờ: đối sánh chính xác, xác thực lược đồ JSON, biểu thức chính quy, kiểm tra dựa trên mã, đánh giá LLM dựa trên phiếu tự đánh giá và đánh giá mẫu định kỳ của con người. Bộ phần mềm này tự động chạy trên mọi thay đổi và so sánh kết quả với đường cơ sở được chấp nhận cuối cùng. Thay đổi mô hình cũng có rủi ro như chỉnh sửa kịp thời. Các bí danh của nhà cung cấp, chẳng hạn như tên mẫu máy mới nhất chung, có thể trỏ đến các phiên bản mới theo thời gian và các ảnh chụp nhanh cũ hơn sẽ không được dùng nữa. Việc ghim một ảnh chụp nhanh có ngày tháng và chạy lại bộ phần mềm trước khi chuyển đổi sẽ biến việc chuyển đổi im lặng thành một quyết định có chủ ý. Một số quan niệm sai lầm gây rắc rối. Một số lần kiểm tra tại chỗ thủ công thường bỏ sót những lỗi hiếm gặp. Nhiệt độ 0 làm giảm tính ngẫu nhiên nhưng không đảm bảo kết quả đầu ra giống nhau trong các lần chạy. Điểm của giám khảo LLM cao hơn không tự động tốt hơn, bởi vì giám khảo có những thành kiến ​​​​chẳng hạn như thiên về các câu trả lời dài hơn. Bởi vì kết quả đầu ra khác nhau nên các bộ tốt sử dụng ngưỡng và mẫu lặp lại thay vì yêu cầu sự bằng nhau của chuỗi chính xác. Các công cụ nguồn mở như nhắc nhở, cùng với các nền tảng đánh giá thương mại, hỗ trợ các quy trình công việc này, nhưng một tập lệnh đơn giản trong CI cũng có thể hoạt động.