Tiếp theoHướng dẫn tiếp theo
Cắt tỉa mô hình
kỹ thuật
HƯỚNG DẪN KỸ THUẬT
Tuần tự hóa mô hình là cách một mô hình học máy đã qua huấn luyện được lưu vào đĩa để có thể tải và chạy sau này, trên một máy khác hoặc bằng một ngôn ngữ khác.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Định dạng bạn chọn ảnh hưởng đến tính di động, tốc độ, kích thước tệp và thậm chí cả bảo mật.
After training, a model is just numbers (weights) plus a description of its architecture. Serialization writes that state into a file. Different ecosystems use different formats. Python pickle can execute arbitrary code when loading untrusted data. Many PyTorch checkpoints use pickle-based serialization, but torch.load security behavior is version-sensitive: PyTorch 2.6 and later default to weights_only=True when no pickle module is specified. Check the installed documentation and avoid disabling this protection for untrusted files. ONNX (Open Neural Network Exchange) is a framework-neutral format that lets a model trained in PyTorch run in another runtime or language. TensorFlow SavedModel is a directory format used for serving. Keras 3 saves to the native .keras format by default; its model.export API can produce a SavedModel for TensorFlow serving. Check the version-specific API. For large language models, safetensors has become popular because it stores only tensor data in a simple, fast, memory-mappable layout with no code execution, making it both safer and quicker to load. GGUF is widely used for running quantized LLMs efficiently on local hardware.
Một nhóm đào tạo một mô hình trong PyTorch, xuất nó sang ONNX và chạy nó bên trong ứng dụng C# mà không phụ thuộc vào Python.
Hugging Face phân phối trọng lượng mô hình dưới dạng bộ kiểm soát an toàn để người dùng có thể tải xuống mà không gặp rủi ro khi thực thi mã độc.
Nhà phát triển tải xuống tệp GGUF của LLM được lượng tử hóa để chạy cục bộ trên CPU máy tính xách tay.
Dịch vụ TensorFlow tải thư mục SavingModel chứa biểu đồ và các biến để cung cấp dự đoán thông qua API.
Mong đợi sự hợp nhất liên tục xung quanh các định dạng di động, an toàn. Safetensors đang trở thành tiêu chuẩn mặc định để chia sẻ công khai trọng số mô hình vì nó loại bỏ rủi ro thực thi mã của dưa chua và GGUF là tiêu chuẩn thực tế cho suy luận LLM cục bộ có lượng tử hóa. ONNX tiếp tục mở rộng làm cầu nối giữa các khung đào tạo và thời gian triển khai được tối ưu hóa trên các thiết bị biên, trình duyệt và máy gia tốc. Nhìn chung, xu hướng ưa chuộng các định dạng trung lập về ngôn ngữ, tiết kiệm bộ nhớ và an toàn theo thiết kế.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Tuần tự hóa mô hình là cách một mô hình học máy đã qua huấn luyện được lưu vào đĩa để có thể tải và chạy sau này, trên một máy khác hoặc bằng một ngôn ngữ khác. Định dạng bạn chọn ảnh hưởng đến tính di động, tốc độ, kích thước tệp và thậm chí cả bảo mật.
Việc giải nén có thể chạy mã tùy ý, do đó việc tải tệp dưa chua không đáng tin cậy có thể làm tổn hại đến hệ thống của bạn.
ONNX là định dạng trao đổi trung lập khung, cho phép tính di động giữa các thời gian chạy, ngôn ngữ và phần cứng.
Safetensors tránh rủi ro thực thi mã và tải nhanh chóng thông qua ánh xạ bộ nhớ, giúp nó an toàn và hiệu quả.
GGUF là định dạng thực tế để phân phối và chạy LLM lượng tử hóa cục bộ và hiệu quả.
ONNX ghi lại biểu đồ và tham số tính toán của mô hình trong một lược đồ tiêu chuẩn để mọi thời gian chạy tương thích đều có thể thực thi nó.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Cắt tỉa mô hình
kỹ thuật