技術指南

模型序列化格式

模型序列化是如何將經過訓練的機器學習模型儲存到磁碟,以便稍後可以在不同的機器上或以不同的語言載入和運行。

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. 模型序列化格式的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

您選擇的格式會影響可攜性、速度、檔案大小,甚至安全性。

深入探討

After training, a model is just numbers (weights) plus a description of its architecture. Serialization writes that state into a file. Different ecosystems use different formats. Python pickle can execute arbitrary code when loading untrusted data. Many PyTorch checkpoints use pickle-based serialization, but torch.load security behavior is version-sensitive: PyTorch 2.6 and later default to weights_only=True when no pickle module is specified. Check the installed documentation and avoid disabling this protection for untrusted files. ONNX (Open Neural Network Exchange) is a framework-neutral format that lets a model trained in PyTorch run in another runtime or language. TensorFlow SavedModel is a directory format used for serving. Keras 3 saves to the native .keras format by default; its model.export API can produce a SavedModel for TensorFlow serving. Check the version-specific API. For large language models, safetensors has become popular because it stores only tensor data in a simple, fast, memory-mappable layout with no code execution, making it both safer and quicker to load. GGUF is widely used for running quantized LLMs efficiently on local hardware.

現實世界的實施

團隊在 PyTorch 中訓練模型,將其匯出到 ONNX,並在不依賴 Python 的 C# 應用程式中運行它。

Hugging Face 將模型權重作為安全張量進行分配,因此使用者可以下載它們,而不會產生惡意程式碼執行的風險。

開發人員下載量化 LLM 的 GGUF 文件,以便在筆記型電腦 CPU 上本地運行它。

TensorFlow 服務會載入一個 SavedModel 目錄,其中包含用於透過 API 提供預測的圖表和變數。

模型序列化格式的未來

預計安全、便攜格式將繼續整合。 Safetensors 正在成為公開共享模型權重的預設設置,因為它消除了 pickle 的代碼執行風險,而 GGUF 是本地 LLM 量化推理的事實上的標準。 ONNX 會作為訓練框架與邊緣設備、瀏覽器和加速器上的最佳化部署執行時間之間的橋樑而不斷擴展。整體而言,此趨勢有利於語言中立、記憶體高效且設計安全的格式。

付諸實踐

為什麼這很重要

  • 成本與預算. 多年來,架構決策決定著效能和營運成本。
  • 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
  • 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。

留意

  • 優化一項基準測試可以隱藏更廣泛的系統弱點。
  • 基礎設施和維護成本常常被低估。
  • 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。

後續步驟

  1. 在實施之前定義延遲、品質和成本目標。
  2. 在實際負載和資料條件下進行基準測試。
  3. 儀器監控錯誤、漂移和使用者影響。
  4. 在擴展之前準備回滾和事件回應路徑。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加模型序列化格式測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是模型序列化格式?

模型序列化是如何將經過訓練的機器學習模型儲存到磁碟,以便稍後可以在不同的機器上或以不同的語言載入和運行。您選擇的格式會影響可攜性、速度、檔案大小,甚至安全性。

為什麼 Python 的 pickle 格式被認為是模型的安全風險?

Unpickling 可以運行任意程式碼,因此載入不受信任的 pickle 檔案可能會危害您的系統。

ONNX 格式的主要優點是什麼?

ONNX 是一種框架中立的交換格式,可實現跨執行時間、語言和硬體的可攜性。

為什麼安全張量在共享模型權重方面變得流行?

Safetensors避免了pickle的程式碼執行風險,透過記憶體映射快速加載,安全高效。

GGUF 與哪個用例最相關?

GGUF 是在本地高效分發和運行量化 LLM 的事實上的格式。

像 ONNX 這樣的交換格式主要儲存什麼?

ONNX 以標準模式捕捉模型的計算圖和參數,以便任何相容的運行時都可以執行它。