HƯỚNG DẪN KỸ THUẬT

Đăng ký mẫu

Sổ đăng ký mô hình là một danh mục được kiểm soát theo phiên bản dành cho các mô hình học máy đã được đào tạo, theo dõi dòng, số liệu và giai đoạn triển khai của từng phiên bản.

Tổng quan

Sổ đăng ký mô hình là một danh mục được kiểm soát theo phiên bản dành cho các mô hình học máy đã được đào tạo, theo dõi dòng, số liệu và giai đoạn triển khai của từng phiên bản. Nó đóng vai trò là nguồn thông tin chính xác duy nhất giữa thử nghiệm và sản xuất, vì vậy các nhóm biết chính xác mô hình nào đang hoạt động, cách xây dựng và cách quay lại.

Cơ quan đăng ký mô hình là một khối xây dựng kỹ thuật ảnh hưởng đến chất lượng mô hình, chi phí cơ sở hạ tầng, độ trễ và độ tin cậy trên quy mô lớn.

Lặn sâu

Quá trình đào tạo tạo ra nhiều phiên bản mô hình và nếu không có sổ đăng ký, chúng sẽ nằm rải rác dưới dạng các tệp có tên 'model_final_v3_really.pkl' mà không có bản ghi nào về cách chúng được tạo ra. Cơ quan đăng ký mô hình khắc phục điều này bằng cách lưu trữ từng phiên bản cùng với siêu dữ liệu của nó: tập dữ liệu huấn luyện, cam kết mã, siêu tham số và số liệu đánh giá. Mô hình trải qua các giai đoạn trong vòng đời, thường là giai đoạn dàn dựng, sản xuất và lưu trữ, với các chương trình khuyến mãi được kiểm soát bằng phê duyệt và thử nghiệm. Điều này mang lại khả năng kiểm tra (ai đã triển khai cái gì, khi nào và tại sao), khả năng tái tạo (xây dựng lại bất kỳ phiên bản nào từ dòng đã ghi của nó) và khôi phục an toàn (ngay lập tức phân phát lại phiên bản trước nếu quá trình triển khai xuống cấp). Các cơ quan đăng ký như MLflow, SageMaker Model Register và Vertex AI tích hợp với CI/CD nên việc quảng bá mô hình có thể tự động kích hoạt triển khai và chúng thường lưu trữ chữ ký mô hình mô tả đầu vào và đầu ra dự kiến.

Hiểu biết kỹ thuật

Sổ đăng ký không chỉ lưu trữ trọng số thô mà còn lưu trữ một tạo phẩm được đóng gói cộng với siêu dữ liệu có cấu trúc và nhãn giai đoạn. Mỗi mô hình đã đăng ký đều có các phiên bản và mỗi phiên bản đều liên kết với quá trình chạy thử nghiệm đã tạo ra mô hình đó, nắm bắt cam kết mã, môi trường và số liệu. Chuyển đổi giai đoạn (từ giai đoạn sang sản xuất) là các sự kiện được ghi lại có thể kích hoạt webhooks vào quy trình triển khai. Chữ ký mô hình, một lược đồ rõ ràng về các loại đầu vào và đầu ra, cho phép các hệ thống cung cấp xác thực các yêu cầu và phát hiện những điểm không khớp trước khi chúng gây ra lỗi dự đoán thầm lặng.

Làm chủ sổ đăng ký mẫu

Sổ đăng ký mô hình là một danh mục được kiểm soát theo phiên bản dành cho các mô hình học máy đã được đào tạo, theo dõi dòng, số liệu và giai đoạn triển khai của từng phiên bản. Nó đóng vai trò là nguồn thông tin chính xác duy nhất giữa thử nghiệm và sản xuất, vì vậy các nhóm biết chính xác mô hình nào đang hoạt động, cách xây dựng và cách quay lại. Cơ quan đăng ký mô hình là một khối xây dựng kỹ thuật ảnh hưởng đến chất lượng mô hình, chi phí cơ sở hạ tầng, độ trễ và độ tin cậy trên quy mô lớn. Để xây dựng sự hiểu biết sâu sắc, hãy coi Cơ quan đăng ký mô hình như một mô hình vận hành chứ không phải một tính năng duy nhất: xác định kết quả mong muốn, làm rõ các giả định và tách biệt những gì hệ thống có thể thực hiện một cách đáng tin cậy với những gì vẫn cần đến sự đánh giá của chuyên gia.

Trong thực tế, các nhóm mạnh sử dụng Cơ quan đăng ký mẫu sẽ tối ưu hóa các lựa chọn về kiến ​​trúc, dữ liệu và cơ sở hạ tầng theo độ tin cậy và chi phí. Họ ghi lại các tiêu chí thành công rõ ràng, kiểm tra dựa trên dữ liệu và quy trình làm việc thực tế, đồng thời lặp lại dựa trên các kiểu thất bại được quan sát thay vì chiến thắng điểm chuẩn một lần. Đây là nơi sự hiểu biết về mặt lý thuyết biến thành khả năng bền vững trên toàn bộ sản phẩm, chính sách và hoạt động.

Các quyết định về kiến ​​trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm. Đồng thời, Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu lớn hơn của hệ thống. Cách tiếp cận linh hoạt nhất là kết hợp tốc độ thử nghiệm với kỷ luật quản trị: chạy thử nghiệm, thu thập bằng chứng, xuất bản nhật ký quyết định và liên tục cập nhật các biện pháp bảo vệ khi hành vi của mô hình, kỳ vọng của người dùng và các yêu cầu pháp lý phát triển.

Tác động chiến lược

Các quyết định về kiến ​​trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.

Các quyết định về kiến ​​trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm. Trong quá trình triển khai chất lượng cao, điều này được chuyển thành các quy tắc vận hành, ranh giới quyền sở hữu và quy trình đánh giá định kỳ có thể đo lường được để các nhóm có thể mở rộng quy mô một cách tự tin thay vì mở rộng quy mô sự mơ hồ.

Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.

Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất. Trong quá trình triển khai chất lượng cao, điều này được chuyển thành các quy tắc vận hành, ranh giới quyền sở hữu và quy trình đánh giá định kỳ có thể đo lường được để các nhóm có thể mở rộng quy mô một cách tự tin thay vì mở rộng quy mô sự mơ hồ.

Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.

Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất. Trong quá trình triển khai chất lượng cao, điều này được chuyển thành các quy tắc vận hành, ranh giới quyền sở hữu và quy trình đánh giá định kỳ có thể đo lường được để các nhóm có thể mở rộng quy mô một cách tự tin thay vì mở rộng quy mô sự mơ hồ.

Tương lai của cơ quan đăng ký kiểu mẫu

Các cơ quan đăng ký đang mở rộng sang các trung tâm quản trị khi quy định về AI được thắt chặt, tự động đính kèm thẻ mô hình, đánh giá sai lệch và quy trình kiểm tra cần thiết để tuân thủ. Mong đợi các liên kết chặt chẽ hơn để giám sát để cơ quan đăng ký không chỉ biết những gì đã được triển khai mà còn biết nó hoạt động trực tiếp như thế nào và tự động khôi phục khi vượt quá ngưỡng. Khi AI tổng hợp phát triển, các cơ quan đăng ký sẽ thích ứng để theo dõi các phiên bản LLM, lời nhắc và trọng lượng bộ điều hợp được tinh chỉnh, đồng thời quản lý mô hình và sự kết hợp lời nhắc nào đang phục vụ từng ứng dụng.

Triển khai trong thế giới thực

Một nhóm sử dụng Cơ quan đăng ký mô hình MLflow để thúc đẩy mô hình gian lận từ 'dàn dựng' đến 'sản xuất', kích hoạt quá trình triển khai tự động thông qua quy trình CI/CD của họ.

Sau khi phiên bản mẫu mới tăng tỷ lệ lỗi, kỹ sư đang làm việc sẽ quay lại bằng cách bổ sung lại việc phân phối cho phiên bản đã đăng ký trước đó trong vài giây.

Kiểm toán viên xem xét sổ đăng ký để xác nhận tập dữ liệu và mã nào đã cam kết tạo ra mô hình chấm điểm tín dụng hiện đang được sản xuất.

Nhóm MLOps lưu trữ số liệu đánh giá của từng phiên bản trong sổ đăng ký để người đánh giá có thể so sánh các mô hình ứng cử viên trước khi phê duyệt chương trình khuyến mãi.

Các mẫu triển khai

Sổ đăng ký mẫu trong thực tế

Một nhóm sử dụng Cơ quan đăng ký mô hình MLflow để thúc đẩy mô hình gian lận từ 'dàn dựng' đến 'sản xuất', kích hoạt quá trình triển khai tự động thông qua quy trình CI/CD của họ.

Một nhóm sử dụng Cơ quan đăng ký mô hình MLflow để thúc đẩy mô hình gian lận từ 'dàn dựng' đến 'sản xuất', kích hoạt quá trình triển khai tự động thông qua quy trình CI/CD của họ. Các nhóm thường nhận được kết quả tốt hơn khi họ xác định trước ngưỡng chất lượng, theo dõi lộ trình leo thang của con người đối với các trường hợp khó khăn và theo dõi cả mức tăng năng suất và chi phí lỗi theo thời gian.

Sổ đăng ký mẫu trong thực tế

Sau khi phiên bản mẫu mới tăng tỷ lệ lỗi, kỹ sư đang làm việc sẽ quay lại bằng cách bổ sung lại việc phân phối cho phiên bản đã đăng ký trước đó trong vài giây.

Sau khi phiên bản mô hình mới tăng tỷ lệ lỗi, kỹ sư đang làm việc sẽ quay lại bằng cách gửi lại phiên bản đã đăng ký trước đó trong vài giây. Các nhóm thường đạt được kết quả tốt hơn khi xác định trước các ngưỡng chất lượng, duy trì lộ trình leo thang của con người đối với các trường hợp khó khăn và theo dõi cả mức tăng năng suất và chi phí lỗi theo thời gian.

Sổ đăng ký mẫu trong thực tế

Kiểm toán viên xem xét sổ đăng ký để xác nhận tập dữ liệu và mã nào đã cam kết tạo ra mô hình chấm điểm tín dụng hiện đang được sản xuất.

Kiểm toán viên đánh giá sổ đăng ký để xác nhận tập dữ liệu và cam kết mã nào đã tạo ra mô hình chấm điểm tín dụng hiện đang được sản xuất. Các nhóm thường đạt được kết quả tốt hơn khi họ xác định trước các ngưỡng chất lượng, duy trì lộ trình leo thang của con người đối với các trường hợp khó khăn và theo dõi cả mức tăng năng suất và chi phí lỗi theo thời gian.

Sổ đăng ký mẫu trong thực tế

Nhóm MLOps lưu trữ số liệu đánh giá của từng phiên bản trong sổ đăng ký để người đánh giá có thể so sánh các mô hình ứng cử viên trước khi phê duyệt chương trình khuyến mãi.

Nhóm MLOps lưu trữ số liệu đánh giá của từng phiên bản trong sổ đăng ký để người đánh giá có thể so sánh các mô hình ứng viên trước khi phê duyệt chương trình khuyến mãi. Các nhóm thường nhận được kết quả tốt hơn khi họ xác định trước các ngưỡng chất lượng, duy trì lộ trình leo thang của con người đối với các trường hợp khó khăn và theo dõi cả mức tăng năng suất và chi phí lỗi theo thời gian.

Rủi ro & lan can

!

Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.

!

Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.

!

Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.

Lộ trình thực hiện

1

Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.

Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai. Hãy coi mỗi bước như một cổng bằng chứng: nếu không đáp ứng được các tiêu chí, hãy tạm dừng triển khai, thu hẹp khoảng cách và chỉ sau đó mới mở rộng mức sử dụng.

2

Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.

Điểm chuẩn trong điều kiện tải và dữ liệu thực tế. Hãy coi mỗi bước như một cổng bằng chứng: nếu không đáp ứng được các tiêu chí, hãy tạm dừng triển khai, thu hẹp khoảng cách và chỉ sau đó mới mở rộng mức sử dụng.

3

Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.

Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng. Hãy coi mỗi bước như một cổng bằng chứng: nếu không đáp ứng được các tiêu chí, hãy tạm dừng triển khai, thu hẹp khoảng cách và chỉ sau đó mới mở rộng mức sử dụng.

4

Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.

Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô. Hãy coi mỗi bước như một cổng bằng chứng: nếu không đáp ứng được các tiêu chí, hãy tạm dừng triển khai, thu hẹp khoảng cách và chỉ sau đó mới mở rộng mức sử dụng.

Tiếp tục khám phá