GUIDA TECNICA
ONNX e interoperabilità dei modelli
ONNX (Open Neural Network Exchange) è un formato di file aperto e uno standard operatore per modelli di machine learning, annunciato da Facebook e Microsoft nel settembre 2017 e ora regolato dalla Linux Foundation.
Ascolta questa guidaNarrato dall'IA · ~8 min
In questa pagina9 minuti di lettura
Panoramica
Consente a un modello addestrato in un framework, come PyTorch, di essere salvato come grafico di calcolo portatile ed eseguito da un motore diverso su server, telefoni, browser o chip specializzati.
Punti chiave
- ONNX è un formato aperto che memorizza un modello addestrato come un grafico di operatori standardizzati più i relativi pesi, in modo che diversi motori possano eseguirlo.
- Facebook e Microsoft hanno annunciato ONNX a settembre 2017 ed è diventato un progetto di laurea AI della Linux Foundation a novembre 2019.
- Ogni modello ONNX dichiara set di operatori con versione e qualsiasi modifica al comportamento di un operatore deve essere fornita come una nuova versione dell'operatore.
- ONNX Runtime suddivide un modello tra provider di esecuzione hardware come CUDA, TensorRT, DirectML, OpenVINO e QNN, con la CPU come fallback.
- I modelli più grandi del limite dei buffer di protocollo di 2 GB memorizzano i loro pesi in file di dati esterni accanto al grafico.
Immersione profonda
ONNX, the Open Neural Network Exchange, is a shared language for describing trained machine learning models. A model in ONNX form is a computation graph: a list of operations, such as matrix multiplication, convolution or softmax, connected by the tensors (multi-dimensional arrays of numbers) that flow between them, together with the learned weights. Because the graph uses a standard set of operators with precisely defined behavior, any software that implements those operators can run the model, regardless of which framework trained it. This separation of training from deployment is what model interoperability means in practice.
The format is defined by the ONNX intermediate representation (IR) specification and stored as a Protocol Buffers file, a compact binary encoding developed by Google. The top-level object is a model, which records the IR version, the operator sets it relies on, metadata such as the producing tool, and the graph. The graph holds nodes, each naming an operator type, its inputs, its outputs and fixed attributes such as a convolution's kernel size. Initializers store constant tensors, usually the weights. Inputs and outputs are declared with a data type and shape, and a dimension can be a symbolic name such as batch_size instead of a fixed number. The specification requires nodes to be listed in topological order, so every value is produced before it is used, with no cycles, and every output name must be unique within a graph.
Versioning is the part of ONNX that makes long-term compatibility possible. Operators are grouped into operator sets, or opsets, identified by a domain and an integer version. The default domain covers neural network operators, and ONNX-ML adds operators for classical, non-neural machine learning algorithms. Every model must declare the opsets it uses. Under the versioning rules, any change to an operator's inputs, outputs, attributes, supported types or meaning is a breaking change that must appear as a new operator version in a new opset. A runtime that supports opset 17 therefore knows exactly what every operator in an opset 17 model does. The ONNX versioning table runs from ONNX 1.0, with IR version 3 and opset 1, to ONNX 1.23.0, with IR version 14 and opset 28.
ONNX began inside Facebook's PyTorch team under the name Toffee and was renamed and announced jointly by Facebook and Microsoft in September 2017. IBM, Huawei, Intel, AMD, Arm and Qualcomm later announced support, and in October 2017 Microsoft said it would bring its Cognitive Toolkit and Project Brainwave into the effort. On November 14, 2019, the format became a graduate project of the Linux Foundation's LF AI Foundation, which TechCrunch described as a step toward vendor-neutral governance, with more than 30 companies contributing code. The license moved from MIT to Apache 2.0. Only the format joined the foundation; ONNX Runtime, the inference engine Microsoft had open-sourced about a year earlier, stayed a separate Microsoft-led project.
In a typical workflow, a developer trains a model in PyTorch and calls torch.onnx.export. Since PyTorch 2.9, the default exporter is built on torch.export, which traces the model ahead of time into a graph of basic operations, removes most Python control flow and records shape constraints. The developer marks which dimensions may vary, such as batch size or text length, chooses an opset, and can ask the exporter to verify the result with ONNX Runtime. The resulting .onnx file is then loaded by a runtime. ONNX Runtime splits the graph among execution providers, plug-ins for specific hardware: each provider in a priority list claims the nodes it can run, and the default CPU provider runs whatever is left. Higher-level tools wrap this process; Hugging Face Optimum can export a Transformers model in one command, validate the outputs against the original, and split encoder-decoder models into separate files so the encoder runs once while the decoder loops.
ONNX is not the only way to move models around. Framework-native formats, such as PyTorch's saved programs, keep every framework feature but tie deployment to that framework's runtime. Vendor formats, such as compiled TensorRT engines, are faster on one family of hardware but are not portable. ONNX sits between them: broadly supported, with a stable specification, but limited to what its operators can express. Weight-only formats, which store tensors but not the computation graph, solve a different problem: sharing parameters for use in a framework that already knows the architecture.
The limits are real. Not every framework operation has an ONNX equivalent, so custom layers may need custom operators that only some runtimes support. Dynamic behavior is hard to capture: PyTorch's documentation notes that loops are not exported directly and points to explicit control-flow operators instead. If dynamic dimensions are not declared, the exporter freezes the example input's shapes, so a text model may only accept one length. Protocol Buffers files are limited to 2 GB, so larger models store their weights as external data files beside the graph. Optimizations can reduce portability: Optimum warns that some ONNX Runtime-specific graph optimizations produce files that OpenVINO or TensorRT cannot run. Small numerical differences between runtimes are normal, which is why exporters compare outputs within a tolerance instead of expecting exact matches.
In practice ONNX costs nothing to use: the format, the onnx Python package and ONNX Runtime are open source. The real costs are engineering time to make a model export cleanly, testing on each target runtime, and keeping the opset version aligned with what the deployment engine supports. ONNX Runtime offers APIs for Python, C#, JavaScript, Java and C++, among others, and runs on Linux, Windows, macOS, iOS, Android and in web browsers.
04Esempio lavorato
Esportazione e controllo di un piccolo modello PyTorch
Costruisci o carica un piccolo classificatore di immagini PyTorch e mettilo in modalità di valutazione.
Chiama torch.onnx.export con un input di esempio della forma 1 x 3 x 224 x 224 e dichiara la dimensione batch come dinamica utilizzando Dynamic_Shapes.
Apri il file salvato con il pacchetto onnx Python ed esegui il suo controllo per confermare che il grafico è valido.
Caricare il file in ONNX Runtime con l'elenco dei provider CUDAExecutionProvider quindi CPUExecutionProvider.
Invia lo stesso input casuale con un batch di 4 sia a PyTorch che a ONNX Runtime.
Confrontare gli output elemento per elemento e verificare che la differenza assoluta più grande sia inferiore a una piccola tolleranza come 0,0001.
Cosa mostra
Lo studente dispone di un file .onnx portatile che accetta qualsiasi dimensione di batch e produce le stesse previsioni del modello PyTorch entro una tolleranza numerica. Se il batch di 4 fallisce, la dimensione dinamica non è stata dichiarata, che è l'errore di esportazione più comune.
Implementazione nel mondo reale
Prodotti Microsoft: il sito Web ONNX Runtime afferma che il motore alimenta le funzionalità di intelligenza artificiale in Windows, Office, Servizi cognitivi di Azure e Bing, eseguendo modelli esportati nel formato ONNX.
Modelli Hugging Face: il comando optimization-cli export onnx --model gpt2 gpt2_onnx/ esporta un modello Transformers, quindi controlla che gli output ONNX corrispondano all'originale entro una tolleranza come 0,0001.
Portabilità hardware: un file ONNX può essere eseguito su GPU Nvidia tramite i provider di esecuzione CUDA o TensorRT, su GPU Windows tramite DirectML, su hardware Intel tramite OpenVINO o su chip Qualcomm tramite QNN.
Inferenza nel browser e mobile: ONNX Runtime Web esegue i modelli esportati all'interno di un browser Web e ONNX Runtime Mobile è destinato alle app Android e iOS, quindi non è necessaria l'installazione di Python sul dispositivo.
Handoff del framework: la documentazione di Hugging Face fornisce l'esempio di esportazione di un modello addestrato in PyTorch su ONNX e quindi di importazione in Nvidia TensorRT o Intel OpenVINO per una pubblicazione ottimizzata.
Il futuro di ONNX e l'interoperabilità dei modelli
La specifica ONNX continua ad espandersi per coprire i carichi di lavoro più recenti. La documentazione IR registra il supporto per la configurazione multi-dispositivo aggiunto nella versione IR 11 e l'elenco dei tipi ora include formati numerici a 8 bit, 6 bit, 4 bit e 2 bit utilizzati per i modelli compressi, riflettendo il passaggio verso l'esecuzione di modelli linguistici quantizzati sull'hardware locale. La tabella delle versioni mostra opset 28 fornito con ONNX 1.23.0. Dal punto di vista degli strumenti, PyTorch ha spostato il suo esportatore predefinito sul percorso basato su torch.export nella versione 2.9, ha deprecato le opzioni precedenti come Dynamic_axes per quel percorso e ha rimosso il fallback all'esportatore precedente nella versione 2.11. Questa transizione mira a rendere le esportazioni più fedeli al programma originale, ma i modelli che si basano sul flusso di controllo a livello Python necessitano ancora di essere riscritti con operatori del flusso di controllo espliciti. Le domande aperte includono quanto bene un formato grafico statico possa rappresentare modelli generativi di grandi dimensioni la cui inferenza coinvolge cache, cicli di lunghezza variabile e campionamento, quali strumenti come onnxruntime-genai e Optimum gestiscono in parte al di fuori del grafico e come evitare che le ottimizzazioni specifiche dell'hardware frammentano un formato il cui valore dipende dalla portabilità. Il numero di provider di esecuzione elencati da ONNX Runtime, che comprendono CPU, GPU, NPU e browser, suggerisce che i fornitori di hardware trattano ancora ONNX come un punto di ingresso comune, sebbene i livelli di supporto varino e diversi provider siano contrassegnati come anteprime.
Metterlo in pratica
Perché è importante
- Costo e budget. Le decisioni relative all'architettura determinano prestazioni e costi operativi per anni.
- Decisioni più chiare. La formazione tecnica aiuta i team a scegliere lo stack giusto, non solo quello più nuovo.
- Controllo di qualità. Migliori scelte ingegneristiche riducono gli incidenti legati all’affidabilità nella produzione.
Attenzione
- L'ottimizzazione di un benchmark può nascondere debolezze di sistema più ampie.
- I costi delle infrastrutture e della manutenzione sono spesso sottostimati.
- Le lacune in termini di sicurezza e osservabilità possono aumentare man mano che i sistemi diventano più complessi.
Prossimi passi
- Definire obiettivi di latenza, qualità e costi prima dell'implementazione.
- Benchmark in condizioni di carico e dati realistiche.
- Monitoraggio dello strumento per errori, deriva e impatto sull'utente.
- Preparare percorsi di rollback e risposta agli incidenti prima della scalabilità.
Fonti e approfondimenti
- ONNX project, GitHubSpecifica di rappresentazione intermedia di scambio di rete neurale aperta (ONNX IR).
- ONNX project, GitHubControllo delle versioni ONNX
- TechCrunchIl formato ONNX diventa il più recente progetto della Linux Foundation
- ONNX Runtime documentationProvider di esecuzione runtime ONNX
- MicrosoftTempo di esecuzione ONNX
- PyTorch documentationtorcia.onnx
- Hugging FaceEsporta un modello in ONNX conoptim.exporters.onnx
- WikipediaApri Scambio rete neurale
Continua a esplorare
Newsletter gratuita
Ricevi il briefing quotidiano sull'IA
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Rispondi al quiz su ONNX e interoperabilità dei modelli
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Domande frequenti
Cos'è ONNX e l'interoperabilità dei modelli?
ONNX (Open Neural Network Exchange) è un formato di file aperto e uno standard operatore per modelli di machine learning, annunciato da Facebook e Microsoft nel settembre 2017 e ora regolato dalla Linux Foundation. Consente a un modello addestrato in un framework, come PyTorch, di essere salvato come grafico di calcolo portatile ed eseguito da un motore diverso su server, telefoni, browser o chip specializzati.
Quale problema fondamentale risolve principalmente ONNX?
ONNX definisce un formato condiviso in modo che un modello addestrato in un framework possa essere distribuito in un altro ambiente senza essere riscritto.
In che modo un file ONNX rappresenta un modello?
Un modello ONNX è un grafo di calcolo i cui nodi sono operatori standardizzati (come Conv, MatMul, Relu) collegati da tensori.
Cosa significa l'acronimo ONNX?
ONNX è l'abbreviazione di Open Neural Network Exchange, il formato aperto e l'ecosistema per rappresentare modelli di apprendimento automatico.
In ONNX Runtime, cos'è un "provider di esecuzione"?
I provider di esecuzione sono backend collegabili (CPU, CUDA, TensorRT e altro) che ONNX Runtime utilizza per eseguire gli operatori che ciascuno supporta meglio.
Cosa definisce la versione "opset" (set di operatori) in un modello ONNX?
La versione opset specifica su quale set standardizzato e versione di operatori si basa il modello, garantendo che i runtime compatibili lo interpretino correttamente.
Continua a imparare
Guide correlate
Altre guide selezionate per questo argomento