Il prossimoProssima guida
Schede modello e schede tecniche per set di dati
Tecnico
GUIDA TECNICA
La potatura del modello restringe una rete neurale rimuovendo pesi o intere strutture che contribuiscono poco al suo output.
Ascolta questa guidaNarrato dall'IA · ~2 min
Riduce le dimensioni, la memoria e i costi di elaborazione mirando a mantenere la precisione quasi intatta.
Le reti neurali addestrate sono in genere eccessivamente parametrizzate: molte connessioni trasportano pesi minimi che influiscono a malapena sulle previsioni. La potatura li identifica e li rimuove, lasciando un modello più snello. La potatura non strutturata azzera i pesi individuali, producendo matrici sparse che possono essere altamente compresse ma che necessitano di hardware o librerie speciali per essere effettivamente accelerate. La potatura strutturata rimuove intere unità – neuroni, teste di attenzione, canali o strati – producendo un modello più piccolo e denso che funziona più velocemente sull’hardware ordinario. Una ricetta comune è il ciclo iterativo: addestrare, eliminare i parametri meno importanti in base a qualche criterio (spesso la grandezza del peso), quindi perfezionarli per recuperare la precisione persa, ripetendo fino al raggiungimento dell'obiettivo di dimensioni o velocità. La potatura si accoppia naturalmente con la quantizzazione e la distillazione nelle pipeline di distribuzione.
Compressione di un modello linguistico di grandi dimensioni per l'esecuzione su una singola GPU consumer anziché su un cluster di server.
Riduzione di un modello di visione per adattarlo alla memoria di uno smartphone o di una fotocamera incorporata.
Rimozione delle teste di attenzione ridondanti da un trasformatore con un calo di qualità poco misurabile.
Riduzione dell'energia di inferenza e della latenza per i servizi a traffico elevato per ridurre i costi del cloud.
Pruning is increasingly applied to large language models, where structured methods can remove supported attention heads, neurons, or layers to fit models onto smaller GPUs and edge devices. Some hardware and kernels accelerate specific supported sparsity patterns, such as NVIDIA 2:4 structured sparsity; arbitrary unstructured zeros do not automatically run faster. Expect pruning to be combined with quantization and distillation in compression pipelines measured against concrete latency, energy, memory, and quality targets.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
La potatura del modello restringe una rete neurale rimuovendo pesi o intere strutture che contribuiscono poco al suo output. Riduce le dimensioni, la memoria e i costi di elaborazione mirando a mantenere la precisione quasi intatta.
La potatura sfrutta l'eccessiva parametrizzazione tagliando pesi o unità a basso contributo per ridurre il modello preservandone gran parte della precisione.
La potatura strutturata rimuove interi componenti, producendo modelli densi più piccoli che funzionano più velocemente su hardware standard, mentre la potatura non strutturata azzera i pesi individuali, creando scarsità.
Gli zeri sparsi non si traducono automaticamente in meno calcoli; l'hardware denso li elabora ancora a meno che non vengano utilizzati kernel o acceleratori sparsi specializzati.
La potatura iterativa alterna la rimozione di parametri di bassa importanza e la messa a punto per recuperare la precisione, raggiungendo gradualmente la dimensione o la velocità target.
L'ipotesi ha osservato che una sottorete sparsa ben scelta ("biglietto vincente"), addestrata fin dalla sua inizializzazione originale, può raggiungere la precisione dell'intera rete densa.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Schede modello e schede tecniche per set di dati
Tecnico