ONNX (Open Neural Network Exchange) \u00e8 uno standard aperto creato per unificare e scambiare modelli di machine learning. Lanciato nel 2017 da Microsoft, Meta (ex Facebook) e AWS, risolve un problema chiave nel mondo dell\u2019AI: la mancanza di compatibilit\u00e0 tra diversi framework (come PyTorch e TensorFlow), strumenti e piattaforme hardware.<\/p>\n\n\n\n
In parole semplici, ONNX \u00e8 un \u201ctraduttore\u201d universale per le reti neurali, che permette agli sviluppatori di spostare liberamente i modelli da un ambiente all\u2019altro.<\/p>\n\n\n\n
Analogia:<\/strong> se una rete neurale \u00e8 un documento complesso, ONNX \u00e8 il formato PDF. Puoi creare un documento in qualsiasi editor (PyTorch, TensorFlow), ma una volta salvato come PDF si aprir\u00e0 rapidamente e in modo coerente su qualsiasi dispositivo tramite un lettore universale (ONNX Runtime).<\/p>\n\n\n\n ONNX rappresenta ogni modello come un grafo computazionale<\/strong>. Questo grafo \u00e8 composto da nodi (operazioni matematiche o operatori) e archi (flussi di dati sotto forma di tensori). Lo standard definisce un insieme unificato di operatori e formati di dati compresi da tutti gli strumenti compatibili.<\/p>\n\n\n\n Il processo operativo generalmente comprende due fasi principali:<\/p>\n\n\n\n Compatibilit\u00e0 dei framework:<\/strong> Ottimizzazione hardware:<\/strong> Flessibilit\u00e0 e longevit\u00e0:<\/strong> ONNX Runtime<\/strong> \u00e8 un componente chiave dell\u2019ecosistema. \u00c8 un ambiente ad alte prestazioni per l\u2019esecuzione di modelli in formato Esportazione del modello da PyTorch:<\/strong><\/p>\n\n\n\n Esecuzione del modello con ONNX Runtime:<\/strong><\/p>\n\n\n\n Per modelli complessi come i transformer di Hugging Face, il processo di esportazione \u00e8 semplificato dalla libreria Optimum<\/strong>, che funge da \u201cponte ufficiale\u201d e gestisce automaticamente tutti i dettagli della conversione.<\/p>\n\n\n\n Installazione dei pacchetti necessari:<\/strong><\/p>\n\n\n\n Esportazione ed esecuzione di un modello Hugging Face:<\/strong><\/p>\n\n\n\n ONNX Runtime non si limita a eseguire i modelli \u2014 li accelera. Uno dei principali metodi \u00e8 la quantizzazione<\/strong>.<\/p>\n\n\n\n In parole semplici:<\/strong> \u00e8 il processo di \u201csemplificazione\u201d dei calcoli all\u2019interno del modello. Invece di usare calcoli ad alta precisione (FP32, ad esempio 3.14159), il modello utilizza numeri interi leggeri e veloci a 8 bit (INT8, da -128 a 127).<\/p>\n\n\n\n Vantaggi della quantizzazione:<\/strong><\/p>\n\n\n\n ONNX \u00e8 diventato uno standard industriale ed \u00e8 ampiamente adottato:<\/p>\n\n\n\n Nonostante tutti i vantaggi, ci sono alcune limitazioni. La conversione di architetture molto complesse o nuove pu\u00f2 incontrare problemi se un operatore specifico non ha ancora un equivalente in ONNX. La comunit\u00e0 lavora attivamente per ampliare il supporto.<\/p>\n\n\n\n ONNX (Open Neural Network Exchange) \u00e8 uno standard aperto creato per unificare e scambiare modelli di machine learning. Lanciato nel 2017 da Microsoft, Meta (ex Facebook) e AWS, risolve un problema chiave nel mondo dell\u2019AI: la mancanza di compatibilit\u00e0 tra diversi framework (come PyTorch e TensorFlow), strumenti e piattaforme hardware.<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"neve_meta_sidebar":"","neve_meta_container":"","neve_meta_enable_content_width":"","neve_meta_content_width":0,"neve_meta_title_alignment":"","neve_meta_author_avatar":"","neve_post_elements_order":"","neve_meta_disable_header":"","neve_meta_disable_footer":"","neve_meta_disable_title":"","_themeisle_gutenberg_block_has_review":false,"footnotes":""},"categories":[540,1],"tags":[839],"class_list":["post-2111","post","type-post","status-publish","format-standard","hentry","category-llm","category-uncategorized","tag-tag-onnx"],"acf":[],"_links":{"self":[{"href":"https:\/\/it.davidka.net\/it\/wp-json\/wp\/v2\/posts\/2111","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/it.davidka.net\/it\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/it.davidka.net\/it\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/it.davidka.net\/it\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/it.davidka.net\/it\/wp-json\/wp\/v2\/comments?post=2111"}],"version-history":[{"count":0,"href":"https:\/\/it.davidka.net\/it\/wp-json\/wp\/v2\/posts\/2111\/revisions"}],"wp:attachment":[{"href":"https:\/\/it.davidka.net\/it\/wp-json\/wp\/v2\/media?parent=2111"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/it.davidka.net\/it\/wp-json\/wp\/v2\/categories?post=2111"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/it.davidka.net\/it\/wp-json\/wp\/v2\/tags?post=2111"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
\n\n\n\nCome funziona ONNX<\/h3>\n\n\n\n
\n
.onnx<\/code>.<\/li>\n\n\n\n.onnx<\/code> risultante viene eseguito tramite un ambiente di runtime ad alte prestazioni \u2014 ONNX Runtime<\/strong>.<\/li>\n<\/ol>\n\n\n\n
\n\n\n\nVantaggi principali di ONNX<\/h3>\n\n\n\n
Il principale vantaggio \u00e8 la possibilit\u00e0 di spostare liberamente i modelli. Ad esempio, un modello pu\u00f2 essere addestrato in PyTorch, utile per la ricerca, e poi distribuito tramite ONNX Runtime, ottimizzato per l\u2019esecuzione rapida in produzione.<\/p>\n\n\n\n
I produttori di hardware (NVIDIA, Intel, ARM) forniscono librerie ottimizzate per eseguire modelli in formato ONNX. Ci\u00f2 consente di ottenere le massime prestazioni su diversi dispositivi senza dover adattare il modello a ciascuna piattaforma.<\/p>\n\n\n\n
Lo standard non vincola lo sviluppatore a un singolo stack tecnologico. Se compare un nuovo framework pi\u00f9 efficiente, i modelli esistenti possono essere trasferiti facilmente.<\/p>\n\n\n\n
\n\n\n\nONNX Runtime: motore di esecuzione<\/h3>\n\n\n\n
.onnx<\/code>. Sviluppato da Microsoft, open source, progettato per massimizzare la velocit\u00e0 dei calcoli del grafo ONNX su qualsiasi dispositivo \u2014 dal server potente al telefono mobile. Runtime supporta molti linguaggi (Python, C++, C#, Java) e piattaforme (Windows, Linux, Android, iOS).<\/p>\n\n\n\n
\n\n\n\nEsempio pratico: da PyTorch a ONNX Runtime<\/h3>\n\n\n\n
import torch\n\n# Il tuo modello addestrato\nmodel = YourSuperModel() \n# Dati di input di esempio per definire la struttura del grafo\ndummy_input = torch.randn(1, 3, 224, 224) \n\ntorch.onnx.export(model, dummy_input, "model.onnx")\n<\/code><\/pre>\n\n\n\nimport onnxruntime as ort\nimport numpy as np\n\n# Creazione della sessione di inferenza\nsession = ort.InferenceSession("model.onnx")\n\n# Preparazione dei dati di input\ninput_data = np.random.randn(1, 3, 224, 224).astype(np.float32)\ninput_name = session.get_inputs()[0].name\n\n# Ottenere la predizione\nresult = session.run(None, {input_name: input_data})\nprint(result)\n<\/code><\/pre>\n\n\n\n
\n\n\n\nONNX e Hugging Face: lo standard d\u2019oro per NLP<\/h3>\n\n\n\n
pip install transformers onnx onnxruntime optimum[onnxruntime]\n<\/code><\/pre>\n\n\n\nfrom optimum.onnxruntime import ORTModelForSequenceClassification\nfrom transformers import AutoTokenizer, pipeline\n\nmodel_id = "distilbert-base-uncased-finetuned-sst-2-english"\n\n# Passo 1: esportazione del modello in ONNX (una tantum)\nmodel = ORTModelForSequenceClassification.from_pretrained(model_id, from_transformers=True)\ntokenizer = AutoTokenizer.from_pretrained(model_id)\nmodel.save_pretrained(".\/onnx-model\/")\ntokenizer.save_pretrained(".\/onnx-model\/")\n\n# Passo 2: esecuzione del modello ONNX ottimizzato\nclassifier = pipeline("text-classification", model=".\/onnx-model\/")\nresult = classifier("ONNX e Hugging Face sono una combinazione potente!")\nprint(result) # Output: [{'label': 'POSITIVE', 'score': 0.9998...}]\n<\/code><\/pre>\n\n\n\n
\n\n\n\nChiave delle prestazioni: ottimizzazione e quantizzazione<\/h3>\n\n\n\n
\n
\n\n\n\nDove viene utilizzato ONNX<\/h3>\n\n\n\n
\n
\n\n\n\nLimitazioni<\/h3>\n\n\n\n
\n\n\n\nLink utili<\/h3>\n\n\n\n
\n