HƯỚNG DẪN KỸ THUẬT

Định dạng tuần tự hóa mô hình

Tuần tự hóa mô hình là cách một mô hình học máy đã qua huấn luyện được lưu vào đĩa để có thể tải và chạy sau này, trên một máy khác hoặc bằng một ngôn ngữ khác.

Nghe hướng dẫn nàyAI thuật lại · ~2 min

Trên trang nàyĐọc trong 2 phút
  1. Tổng quan
  2. Lặn sâu
  3. Triển khai trong thế giới thực
  4. Tương lai của các định dạng tuần tự hóa mô hình
  5. Đưa nó vào thực tế
  6. Tiếp tục khám phá
  7. Câu hỏi thường gặp

Tổng quan

Định dạng bạn chọn ảnh hưởng đến tính di động, tốc độ, kích thước tệp và thậm chí cả bảo mật.

Lặn sâu

After training, a model is just numbers (weights) plus a description of its architecture. Serialization writes that state into a file. Different ecosystems use different formats. Python pickle can execute arbitrary code when loading untrusted data. Many PyTorch checkpoints use pickle-based serialization, but torch.load security behavior is version-sensitive: PyTorch 2.6 and later default to weights_only=True when no pickle module is specified. Check the installed documentation and avoid disabling this protection for untrusted files. ONNX (Open Neural Network Exchange) is a framework-neutral format that lets a model trained in PyTorch run in another runtime or language. TensorFlow SavedModel is a directory format used for serving. Keras 3 saves to the native .keras format by default; its model.export API can produce a SavedModel for TensorFlow serving. Check the version-specific API. For large language models, safetensors has become popular because it stores only tensor data in a simple, fast, memory-mappable layout with no code execution, making it both safer and quicker to load. GGUF is widely used for running quantized LLMs efficiently on local hardware.

Triển khai trong thế giới thực

Một nhóm đào tạo một mô hình trong PyTorch, xuất nó sang ONNX và chạy nó bên trong ứng dụng C# mà không phụ thuộc vào Python.

Hugging Face phân phối trọng lượng mô hình dưới dạng bộ kiểm soát an toàn để người dùng có thể tải xuống mà không gặp rủi ro khi thực thi mã độc.

Nhà phát triển tải xuống tệp GGUF của LLM được lượng tử hóa để chạy cục bộ trên CPU máy tính xách tay.

Dịch vụ TensorFlow tải thư mục SavingModel chứa biểu đồ và các biến để cung cấp dự đoán thông qua API.

Tương lai của các định dạng tuần tự hóa mô hình

Mong đợi sự hợp nhất liên tục xung quanh các định dạng di động, an toàn. Safetensors đang trở thành tiêu chuẩn mặc định để chia sẻ công khai trọng số mô hình vì nó loại bỏ rủi ro thực thi mã của dưa chua và GGUF là tiêu chuẩn thực tế cho suy luận LLM cục bộ có lượng tử hóa. ONNX tiếp tục mở rộng làm cầu nối giữa các khung đào tạo và thời gian triển khai được tối ưu hóa trên các thiết bị biên, trình duyệt và máy gia tốc. Nhìn chung, xu hướng ưa chuộng các định dạng trung lập về ngôn ngữ, tiết kiệm bộ nhớ và an toàn theo thiết kế.

Đưa nó vào thực tế

Tại sao nó quan trọng

  • Chi phí và ngân sách. Các quyết định về kiến ​​trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
  • Quyết định rõ ràng hơn. Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
  • Kiểm soát chất lượng. Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.

coi chừng

  • Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
  • Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
  • Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.

Các bước tiếp theo

  1. Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
  2. Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
  3. Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
  4. Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.

Tiếp tục khám phá

Bản tin miễn phí

Nhận bản tóm tắt AI hàng ngày

Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.

Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.

Tự kiểm tra

Take the Model Serialization Formats quiz

Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.

Bắt đầu bài kiểm tra

Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp

Câu hỏi thường gặp

Định dạng tuần tự hóa mô hình là gì?

Tuần tự hóa mô hình là cách một mô hình học máy đã qua huấn luyện được lưu vào đĩa để có thể tải và chạy sau này, trên một máy khác hoặc bằng một ngôn ngữ khác. Định dạng bạn chọn ảnh hưởng đến tính di động, tốc độ, kích thước tệp và thậm chí cả bảo mật.

Tại sao định dạng dưa chua của Python được coi là rủi ro bảo mật cho mô hình?

Việc giải nén có thể chạy mã tùy ý, do đó việc tải tệp dưa chua không đáng tin cậy có thể làm tổn hại đến hệ thống của bạn.

Ưu điểm chính của định dạng ONNX là gì?

ONNX là định dạng trao đổi trung lập khung, cho phép tính di động giữa các thời gian chạy, ngôn ngữ và phần cứng.

Tại sao các bộ đo an toàn lại trở nên phổ biến để chia sẻ trọng lượng mô hình?

Safetensors tránh rủi ro thực thi mã và tải nhanh chóng thông qua ánh xạ bộ nhớ, giúp nó an toàn và hiệu quả.

GGUF được liên kết nhiều nhất với trường hợp sử dụng nào?

GGUF là định dạng thực tế để phân phối và chạy LLM lượng tử hóa cục bộ và hiệu quả.

Định dạng trao đổi như ONNX chủ yếu lưu trữ những gì?

ONNX ghi lại biểu đồ và tham số tính toán của mô hình trong một lược đồ tiêu chuẩn để mọi thời gian chạy tương thích đều có thể thực thi nó.