LegközelebbKövetkező útmutató
Modellmetszés
Műszaki
Műszaki ÚTMUTATÓ
A modell szerializálása az, hogy egy betanított gépi tanulási modell lemezre kerül mentésre, így később betölthető és futtatható, egy másik gépen vagy más nyelven.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
A választott formátum befolyásolja a hordozhatóságot, a sebességet, a fájlméretet és még a biztonságot is.
After training, a model is just numbers (weights) plus a description of its architecture. Serialization writes that state into a file. Different ecosystems use different formats. Python pickle can execute arbitrary code when loading untrusted data. Many PyTorch checkpoints use pickle-based serialization, but torch.load security behavior is version-sensitive: PyTorch 2.6 and later default to weights_only=True when no pickle module is specified. Check the installed documentation and avoid disabling this protection for untrusted files. ONNX (Open Neural Network Exchange) is a framework-neutral format that lets a model trained in PyTorch run in another runtime or language. TensorFlow SavedModel is a directory format used for serving. Keras 3 saves to the native .keras format by default; its model.export API can produce a SavedModel for TensorFlow serving. Check the version-specific API. For large language models, safetensors has become popular because it stores only tensor data in a simple, fast, memory-mappable layout with no code execution, making it both safer and quicker to load. GGUF is widely used for running quantized LLMs efficiently on local hardware.
Egy csapat PyTorch-ban betanítja a modellt, exportálja az ONNX-be, és egy C#-alkalmazáson belül Python-függőség nélkül futtatja.
A Hugging Face biztosítóként osztja szét a modellsúlyokat, így a felhasználók letölthetik azokat a rosszindulatú kód végrehajtásának kockázata nélkül.
A fejlesztő letölti a kvantált LLM GGUF-fájlját, hogy helyileg futtathassa azt egy laptop CPU-n.
A TensorFlow szolgáltatás betölt egy SavedModel könyvtárat, amely tartalmazza a grafikont és az API-n keresztüli előrejelzések kiszolgálásához szükséges változókat.
Folyamatos konszolidációra számíthat a biztonságos, hordozható formátumok körül. A Safetensors a modellsúlyok nyilvános megosztásának alapértelmezésévé válik, mivel eltávolítja a kódvégrehajtás kockázatát, és a GGUF a de facto szabvány a kvantálással végzett helyi LLM-következtetéshez. Az ONNX folyamatosan bővül, mint híd a képzési keretrendszerek és az optimalizált telepítési futási idők között az élvonalbeli eszközökön, böngészőkön és gyorsítókon. Összességében a tendencia a nyelvsemleges, memóriahatékony és tervezésüknél fogva biztonságos formátumokat részesíti előnyben.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A modell szerializálása az, hogy egy betanított gépi tanulási modell lemezre kerül mentésre, így később betölthető és futtatható, egy másik gépen vagy más nyelven. A választott formátum befolyásolja a hordozhatóságot, a sebességet, a fájlméretet és még a biztonságot is.
A kiválasztás tetszőleges kódot futtathat, így egy nem megbízható pácfájl betöltése veszélyeztetheti a rendszert.
Az ONNX egy keretrendszer-semleges adatcsere-formátum, amely lehetővé teszi a futási környezetek, nyelvek és hardverek közötti hordozhatóságot.
A Safetensors elkerüli a kódvégrehajtás kockázatát, és a memória-leképezésen keresztül gyorsan betöltődik, így biztonságos és hatékony.
A GGUF a kvantált LLM-ek helyi és hatékony terjesztésének és futtatásának de facto formátuma.
Az ONNX szabványos sémában rögzíti a modell számítási grafikonját és paramétereit, így bármely kompatibilis futási környezet végrehajthatja azt.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Modellmetszés
Műszaki