GitOps cho ML với CD Argo

GitOps coi kho lưu trữ được kiểm soát theo phiên bản làm nguồn khai báo cho trạng thái ứng dụng và cơ sở hạ tầng mong muốn. Thay vì thực hiện các thay đổi cụm theo cách thủ công, người vận hành cập nhật các bảng kê khai mô tả các tài nguyên như hoạt động triển khai, dịch vụ, yêu cầu tài nguyên và tham chiếu cấu hình. Bộ điều khiển quan sát kho lưu trữ và cụm trực tiếp, phát hiện sự khác biệt và áp dụng các thay đổi theo chính sách. Argo CD là một công cụ khai báo phân phối liên tục dành cho Kubernetes để theo dõi các ứng dụng từ kho Git và báo cáo tình trạng đồng bộ hóa cũng như tình trạng. Nó có thể tự động đồng bộ hóa hoặc chờ hành động của người vận hành, tùy thuộc vào cấu hình. Tự phục hồi có thể hoàn nguyên việc trôi dạt thủ công, trong khi việc cắt tỉa có thể loại bỏ các tài nguyên đã bị xóa khỏi cấu hình mong muốn. Các tính năng này yêu cầu thiết lập cẩn thận: một bảng kê khai hoặc chính sách đồng bộ hóa tự động không chính xác có thể nhanh chóng truyền bá một thay đổi xấu. Xem xét yêu cầu kéo và các nhánh được bảo vệ cung cấp một bước kiểm soát thay đổi. Đối với dịch vụ ML, Git có thể khai báo bản tóm tắt hình ảnh vùng chứa, bản sao, giới hạn tài nguyên, thăm dò và tham chiếu đến cấu hình hoặc lưu trữ mô hình. Tạo phẩm mô hình phải bất biến và gắn liền với báo cáo đánh giá của nó. Trọng số mô hình lớn có thể nằm trong sổ đăng ký giả thay vì Git, nhưng tệp kê khai có thể tham chiếu bản tóm tắt hoặc phiên bản. Giữ thông tin xác thực trong hệ thống quản lý bí mật, không phải bản kê khai văn bản gốc. GitOps cải thiện khả năng kiểm tra và cho phép khôi phục thông qua thay đổi kiểm soát phiên bản, nhưng nó không xác thực chất lượng mô hình hoặc khả năng tương thích dữ liệu. Việc đối chiếu cụm chỉ làm cho cơ sở hạ tầng thực tế khớp với trạng thái đã khai báo. Một mô hình có thể được triển khai một cách trung thực nhưng vẫn có thể gây sai sót cho người dùng. Tách biệt việc đánh giá và phê duyệt mô hình khỏi quá trình đồng bộ hóa triển khai, sau đó giám sát hành vi phân phối sau khi triển khai. Hạn chế quyền của bộ điều khiển, quản lý thông tin xác thực của kho lưu trữ và hiểu mức độ ảnh hưởng của sóng đồng bộ hóa, hook và kiểm tra tình trạng đến các bản cập nhật ứng dụng. Thiết lập GitOps đáng tin cậy giúp bản phát hành mong muốn trở nên rõ ràng và có thể theo dõi trong khi vẫn duy trì các biện pháp kiểm soát xung quanh việc quảng bá mô hình.